[論文レビュー] The Role of Information Complexity and Randomization in Representation Learning

Matías Vera, Pablo Piantanida+1 more|arXiv (Cornell University)|Feb 14, 2018

Adversarial Robustness in Machine Learning参考文献 47被引用数 6

ひとこと要約

この論文は、入力とその表現の間の相互情報量 I(X;U) として定義される情報複雑度（IC）に比例する、表現学習における交差エントロピー損失のサンプル依存一般化バウンドを導入する。実験的に、確率的勾配降下法（SGD）がICを暗黙的に最小化することを示し、理論的にドロップアウト正則化が表現容量を低減することを結びつけることで、ノイズ注入が一般化を向上させる情報理論的説明を提供する。

ABSTRACT

A grand challenge in representation learning is to learn the different explanatory factors of variation behind the high dimen- sional data. Encoder models are often determined to optimize performance on training data when the real objective is to generalize well to unseen data. Although there is enough numerical evidence suggesting that noise injection (during training) at the representation level might improve the generalization ability of encoders, an information-theoretic understanding of this principle remains elusive. This paper presents a sample-dependent bound on the generalization gap of the cross-entropy loss that scales with the information complexity (IC) of the representations, meaning the mutual information between inputs and their representations. The IC is empirically investigated for standard multi-layer neural networks with SGD on MNIST and CIFAR-10 datasets; the behaviour of the gap and the IC appear to be in direct correlation, suggesting that SGD selects encoders to implicitly minimize the IC. We specialize the IC to study the role of Dropout on the generalization capacity of deep encoders which is shown to be directly related to the encoder capacity, being a measure of the distinguishability among samples from their representations. Our results support some recent regularization methods.

研究の動機と目的

• 深層表現学習における一般化の背後にある情報理論的メカニズムを理解すること。
• 学習された表現の情報複雑度（IC）に依存する一般化ギャップの理論的バウンドを確立すること。
• ドロップアウトやノイズ注入を用いるランダム化エンコーダーが一般化能力に与える影響を調査すること。
• SGDにおける暗黙の正則化とICの最小化を結びつけ、既存の実験的実践の理論的基盤を提供すること。

提案手法

• 入力Xと表現Uの間の相互情報量 I(X;U) として定義される情報複雑度（IC）に比例する、交差エントロピー損失のサンプル依存一般化バウンドを導出する。
• McDiarmidの不等式とPinskerの不等式を用いて、経験的推定下でのエントロピーおよび相互情報量の乖離をバウンドする。
• MNISTおよびCIFAR-10でSGDで訓練された多層ニューラルネットワークに対してICを実験的に評価し、ICと一般化ギャップの相関関係を検証する。
• ドロップアウトの分析に向け、ICフレームワークを特殊化し、表現の区別可能性を制限することでエンコーダー容量を低減することを示す。
• 対称化および濃度不等式を適用して、真のエントロピーと経験的エントロピーの差をバウンドする。
• 補題15を活用して、表現分布の分散と相互情報量の関係を確立し、ICに基づく一般化バウンドの導出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおける表現の情報複雑度（IC）は、一般化ギャップとどのように関係するか？
• RQ2 入力と表現の間の相互情報量に明示的に依存する一般化ギャップの理論的バウンドを導出できるか？
• RQ3 確率的勾配降下法（SGD）は、学習中に情報複雑度（IC）を暗黙的に最小化するか？
• RQ4 ドロップアウトは、情報理論的測度を用いてエンコーダーの容量をどのように制御するか？
• RQ5 表現空間におけるノイズ注入は、潜在空間内のサンプルの区別可能性にどのように影響するか？

主な発見

• 交差エントロピー損失における一般化ギャップは、情報複雑度（IC）に直接比例することが実験的に確認され、SGDが一般化を向上させるためにICを暗黙的に最小化していることを示唆する。
• MNISTおよびCIFAR-10において、複数回の訓練実行を通じてICと一般化ギャップの間の相関関係が強く、一貫しており、ICの暗黙的最小化仮説を支持する。
• ドロップアウトが表現の区別可能性を制限することでエンコーダー容量を低減することを示し、一般化性能の向上という役割と整合的である。
• 理論的分析により、相互情報量 I(X;U) が一般化ギャップをバウンドすることが確認され、ICが低い場合によりタイトなバウンドが得られることを示す。
• Pinskerの不等式を用いて、入力ごとの表現分布の分散と相互情報量の関係を確立し、ICに基づくバウンドの導出を可能にする。
• 実験結果により、ノイズ注入やドロップアウトによるICの低減が一般化誤差の低減に寄与することを検証し、これらが暗黙の正則化として機能することを支持する。