[論文レビュー] Understanding Deep Learning Generalization by Maximum Entropy

Guanhua Zheng, Jitao Sang+1 more|arXiv (Cornell University)|Nov 21, 2017

Model Reduction and Neural Networks参考文献 9被引用数 5

ひとこと要約

本論文は、深層ニューラルネットワーク（DNNs）が最大エントロピー（ME）原理を満たす特徴条件を再帰的に近似することで一般化を達成すると提案する。DNNsをME最適化の再帰的解法として定式化することで、スキップ接続や正則化といった標準的なDNN部品が情報漏洩を最小限に抑え、入力構造を保持することで一般化を向上させることを示し、情報理論的視点から深層学習の成功を説明する。

ABSTRACT

Deep learning achieves remarkable generalization capability with overwhelming number of model parameters. Theoretical understanding of deep learning generalization receives recent attention yet remains not fully explored. This paper attempts to provide an alternative understanding from the perspective of maximum entropy. We first derive two feature conditions that softmax regression strictly apply maximum entropy principle. DNN is then regarded as approximating the feature conditions with multilayer feature learning, and proved to be a recursive solution towards maximum entropy principle. The connection between DNN and maximum entropy well explains why typical designs such as shortcut and regularization improves model generalization, and provides instructions for future model development.

研究の動機と目的

• 高容量であるにもかかわらず深層学習の優れた一般化性能を理論的に説明すること。
• ソフトマックス回帰が厳密に最大エントロピー原理を満たす特徴条件を特定すること。
• 制約の再帰的分解を通じてDNNsと最大エントロピー枠組みを結びつけること。
• スジット接続や正則化といった一般的なDNN設計選択が、MEの観点から一般化をどのように向上させるかを説明すること。
• 一般化可能な深層学習モデルを設計するための新しい理論的基盤を提供すること。

提案手法

• ソフトマックス回帰が最大エントロピー原理を厳密に満たす2つの十分条件を導出し、これを「最大エントロピー同等定理」と呼ぶ。
• DNNsを、多層非線形特徴学習を通じてME特徴条件を再帰的に近似する最適化プロセスとして再定式化する。
• ME制約の再帰的分解を解く最適化メカニズムとしてバックプロパゲーションを用いる。
• DNNの出力層をソフトマックス回帰としてモデル化し、隠れ層をME特徴条件を満たすための特徴学習部として解釈する。
• ME解がIBの十分条件を満たすことを示すことで、MEと情報ボトルネック（IB）原理との理論的関連を確立する。
• 正則化とスキップ接続を、相互情報量I(X;T)を低減させ、入力情報を保持するメカニズムとして解釈し、ME制約と整合させる。

実験結果

リサーチクエスチョン

• RQ1 どのような特徴条件がソフトマックス回帰モデルが最大エントロピー原理を厳密に満たすか？
• RQ2 深層ニューラルネットワークは、最大エントロピー問題の再帰的解法としてどのように解釈できるか？
• RQ3 スジット接続や重み正則化といった標準的なDNN部品が一般化を向上させる理由は何か？
• RQ4 最大エントロピー枠組みは、DNNsにおける情報ボトルネック現象の出現をどのように説明するか？
• RQ5 ME原理は、深層学習の一般化を理解するための統一的理論的基盤として機能できるか？

主な発見

• 本論文は、ソフトマックス回帰が最大エントロピー原理を厳密に満たす2つの十分条件を導出し、これを「最大エントロピー同等定理」として確立した。
• DNNsがME問題の再帰的近似であることが示され、隠れ層がME条件を満たす特徴を学習することで一般化を最大化することが明らかになった。
• DNNsにおける情報ボトルネック現象は、ME枠組みの結果として説明され、ME問題の解がIBの十分条件を満たすためである。
• スキップ接続は、層間を跨いで入力情報（X）をより多く保持することで、再帰的分解中の情報損失を低減し、一般化を向上させる。
• L2正則化、ドロップアウト、SGDといった正則化手法がI(X;T)を最小化することで、I(Ti;Tj|Y)の上界を低減し、ME制約と整合することが示された。
• より深いネットワークが一般化を向上させるのは、より豊かな受容野を通じて十分な入力情報を保持する場合に限られ、単に深さがあるからといって一般化が向上するわけではない。