[論文レビュー] Information Dropout: Learning Optimal Representations Through Noisy Computation

Alessandro Achille, Stefano Soatto|arXiv (Cornell University)|Nov 4, 2016

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 15

ひとこと要約

本稿では、情報理論に基づき、活性化関数に乗法的ノイズを注入することで深層ニューラルネットワークの表現を向上させるノイズベースの正則化法である情報ドロップアウト（Information Dropout）を提案する。この手法は不変性、最小性、分離性を向上させることを示しており、変分オートエンコーダーと同等の性能を達成するとともに、特に容量が小さいモデルでは標準ドロップアウトを上回る。ノイズスケーリングを適応的に制御することで、一般化性能が向上する。

ABSTRACT

The cross-entropy loss commonly used in deep learning is closely related to the defining properties of optimal representations, but does not enforce some of the key properties. We show that this can be solved by adding a regularization term, which is in turn related to injecting multiplicative noise in the activations of a Deep Neural Network, a special case of which is the common practice of dropout. We show that our regularized loss function can be efficiently minimized using Information Dropout, a generalization of dropout rooted in information theoretic principles that automatically adapts to the data and can better exploit architectures of limited capacity. When the task is the reconstruction of the input, we show that our loss function yields a Variational Autoencoder as a special case, thus providing a link between representation learning, information theory and variational inference. Finally, we prove that we can promote the creation of disentangled representations simply by enforcing a factorized prior, a fact that has been observed empirically in recent work. Our experiments validate the theoretical intuitions behind our method, and we find that information dropout achieves a comparable or better generalization performance than binary dropout, especially on smaller models, since it can automatically adapt the noise to the structure of the network, as well as to the test sample.

研究の動機と目的

• 情報理論および統計的意思決定理論における十分性、最小性、不変性を用いて、深層学習における最適表現を形式化すること。
• 標準的なクロスエントロピー学習では最小性および不変性が明示的に強制されていない問題に対処し、乗法的ノイズに関連する正則化子を導入すること。
• ドロップアウト、変分推論、分離性を共通の情報理論的枠組みで統一すること。
• 適応的ノイズ注入（情報ドロップアウト）が、特に低容量ネットワークにおいて一般化性能を向上させることを示すこと。
• 因子化された事前分布を強制することで、総相関を最小化し、分離された表現が得られることを示すこと。

提案手法

• 情報ボトルネック原理に基づく正則化損失関数を提案し、正則化子が最小性および不変性を強制する。
• 標準ドロップアウトの一般化として情報ドロップアウトを導入し、ノイズ分散をニューロンおよびレイヤーごとに適応的に学習する。
• ノイズを乗法的とモデル化することで、勾配計算が変化し、ロバストで最小限の表現が促進される。
• 再構成タスクの場合、この手法が変分オートエンコーダーに簡略化されることを示し、変分推論との関連を確立する。
• 潜在変数の各成分に因子化された事前分布を用いることで、総相関を最小化し、分離性を促進する。
• 変分下界を用いて情報理論的目的を近似し、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 十分性、最小性、不変性といった情報理論的原則を用いて、深層学習における最適表現をどのように形式化できるか？
• RQ2 ニューラルネットワークの活性化関数に乗法的ノイズを注入することで、特に不変性および最小性の観点から、学習された表現の質が向上するか？
• RQ3 情報ドロップアウト、標準ドロップアウト、変分オートエンコーダーの間には、理論的なつながりがあるか？
• RQ4 因子化された事前分布を強制することで、なぜ分離された表現が得られるのか？このメカニズムは形式的に正当化できるか？
• RQ5 情報ドロップアウトは、レイヤー間での情報の流れを適応的に制御でき、特に低容量ネットワークにおいて一般化性能を向上させることができるか？

主な発見

• 情報ドロップアウトは、レイヤーおよびニューロンごとの適応的ノイズスケーリングのおかげで、特に小規模モデルにおいて標準バイナリドロップアウトと同等またはそれ以上の一般化性能を達成する。
• 因子化された事前分布を用いる際、潜在表現の総相関が低減され、実験的に観察された分離性の背後にある形式的根拠が得られる。
• Cluttered MNISTおよびMNIST+CIFARの実験から、情報ドロップアウトが遮蔽および不要要因に対する不変性を向上させることを示した。
• 平均情報伝送量（単位あたり）を測定することで、情報ドロップアウトが異なるレイヤーを通過する情報量を異にすることができることを示した。
• VAEベンチマークにおいて、情報ドロップアウトは、下界が低いガウス型潜在変数と同等の性能を達成しており、効果的な表現学習が可能であることを示した。
• 情報ドロップアウトは、低容量ネットワークにおいて標準ドロップアウトよりも効率的であり、適応的正則化により限られたモデル容量をより効果的に活用できる。