[論文レビュー] Flow of Information in Feed-Forward Deep Neural Networks

Pejman Khadivi, Ravi Tandon+1 more|arXiv (Cornell University)|Mar 20, 2016

Adversarial Robustness in Machine Learning参考文献 8被引用数 10

ひとこと要約

この論文は、情報理論と情報ボトルネック原理を用いて、順伝播型深層ニューラルネットワークにおける情報の流れをモデル化し、圧縮と予測精度のバランスを取る制約付き最適化フレームワークを提案する。理論的に、達成可能な最大圧縮は条件付きエントロピー H(X|Y) によって上限づけられることを証明しており、ブール関数を用いた実験的検証により、可能な写像が存在する場合に最適圧縮が達成可能であることを示している。

ABSTRACT

Feed-forward deep neural networks have been used extensively in various machine learning applications. Developing a precise understanding of the underling behavior of neural networks is crucial for their efficient deployment. In this paper, we use an information theoretic approach to study the flow of information in a neural network and to determine how entropy of information changes between consecutive layers. Moreover, using the Information Bottleneck principle, we develop a constrained optimization problem that can be used in the training process of a deep neural network. Furthermore, we determine a lower bound for the level of data representation that can be achieved in a deep neural network with an acceptable level of distortion.

研究の動機と目的

• 深層ニューラルネットワークの各層における情報エントロピーの変化を理解すること。
• 情報ボトルネック原理に基づいた制約付き最適化モデルを用いてDNNの学習を実現すること。
• 許容可能な歪みを維持しつつ、DNNにおけるデータ圧縮の上限を導出すること。
• ブール関数を用いた事例研究を通じて、最適な情報表現の実現可能性を示すこと。
• 神経計算における実用的制限を考慮し、最適化モデルに実現可能性制約を組み込むこと。

提案手法

• 論文は、連続する層間の情報の流れをエントロピーと条件付きエントロピーを用いてモデル化し、情報表現の変化を分析する。
• 情報ボトルネック原理に基づき、対数損失歪みを最小化すると同時に圧縮を最大化する制約付き最適化問題を定式化する。
• 最適化の目的関数は、層間の入力と出力表現間の相互情報量を最大化することを目的とする。
• 禁止された写像（例：1ニューロンによる非実現性）を除外する制約が導入され、学習された表現の実用的実現可能性が保証される。
• 層ごとの写像実現可能性および分布制約を考慮し、神経計算の実用的限界を組み込んだモデルの変更が行われる。
• AND、OR、XORなどのブール関数を対象とした事例研究により、異なるネットワークの深さにおける達成可能な圧縮率と写像実現可能性の検証が行われる。

実験結果

リサーチクエスチョン

• RQ1 順伝播型深層ニューラルネットワークにおいて、連続する層間でエントロピーはどのように変化するか？
• RQ2 許容可能な歪みを伴うDNNにおけるデータ圧縮の理論的上限は何か？
• RQ3 情報ボトルネック原理を用いて、DNN学習のための実用的最適化フレームワークを導出できるか？
• RQ4 なぜXORのような特定の関数を実装するにはより深いネットワークが必要なのか？また、深さは圧縮にどのように影響するか？
• RQ5 神経計算における実用的制限を考慮し、非実現可能または禁止された写像を最適化プロセスから除外するにはどうすればよいか？

主な発見

• 順伝播型DNNにおける最大達成可能圧縮は、条件付きエントロピー H(X|Y) によって上限づけられ、これは補題3で理論的に証明されている。
• ANDやORのような実装可能なブール関数では、圧縮率 Cν が H(X|Y) と一致しており、最適表現が達成されていることが示されている。
• 2入力または3入力のXOR関数は、ニューロンの処理限界のため、1層ネットワークでは実装不可能であり、より深いアーキテクチャを必要とする。
• 層を追加することで圧縮効率が向上し、多層ネットワークではCνの値が高くなることが観察された（例：ν=3のANDでは3.566、ν=1では2.456）。
• 最適化モデルは、実現可能な写像を効果的に同定できており、事例研究では、最適圧縮がネットワークアーキテクチャが関数を実装可能である場合にのみ達成可能であることが示された。