[論文レビュー] On the Maximum Mutual Information Capacity of Neural Architectures

Brandon Foggo, Nanpeng Yu|arXiv (Cornell University)|Jun 10, 2020

Neural Networks and Applications参考文献 15被引用数 8

ひとこと要約

この論文は、広範なニューラルネットワークアーキテクチャのクラスにおいて、入力と隠れ表現の間の最大相互情報量（MMI）の閉形式表現を導出しており、MMIが最も細い隠れ層の幅によって本質的に制限されることを示している。主な洞察は、情報保持のアーキテクチャ的容量が、この最小層次元によってボトルネックにかかることであり、線形、ReLU、および双曲的活性化関数ネットワークにおいても同様の結果が成り立つ。

ABSTRACT

We derive the closed-form expression of the maximum mutual information - the maximum value of $I(X;Z)$ obtainable via training - for a broad family of neural network architectures. The quantity is essential to several branches of machine learning theory and practice. Quantitatively, we show that the maximum mutual information for these families all stem from generalizations of a single catch-all formula. Qualitatively, we show that the maximum mutual information of an architecture is most strongly influenced by the width of the smallest layer of the network - the "information bottleneck" in a different sense of the phrase, and by any statistical invariances captured by the architecture.

研究の動機と目的

• 広範なニューラルネットワークアーキテクチャにおいて、入力と隠れ表現の間で達成可能な最大相互情報量（MMI）を導出すること。
• 特に相互情報量の観点から、ニューラルネットワークの情報容量を根本的に制限するアーキテクチャ的要因を特定すること。
• 線形、ReLU、双曲的活性化関数の異なるタイプの間の共通のMMI式が、最小の層幅に依存することを示すことにより、それらの洞察を統合すること。
• 深層学習におけるアーキテクチャ設計が表現の複雑さと一般化可能性に与える影響を理解する理論的基盤を提供すること。

提案手法

• 訓練可能なパラメータ θ のすべての値に対して I(X;Z_θ) の上界としての MMI を定義し、Z_θ を最終隠れ表現とする。
• 微分エントロピーとヤコビアン行列式を含む情報理論的ツールを用いて、さまざまな活性化関数下での相互情報量を分析する。
• データ処理不等式および強力なデータ処理不等式を適用し、I(X;Z) に依存する表現品質の損失を制限する。
• 双曲的活性化関数の場合、可逆変換によるエントロピー保存のため、I(X;Z) = I(X;A) が成り立つ（A は前活性化表現）。
• 重み行列積のランクと各層における最小隠れ次元を分析することで、単層から多層全結合ネットワークへの結果の一般化を行う。
• 重み行列がフロベニウスノルム制約を満たす場合に相互情報量が最大化され、その解が最小層幅に依存する閉形式で得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 与えられたニューラルネットワークアーキテクチャに対して、入力と隠れ表現の間の理論的上限となる相互情報量は何か？
• RQ2 最も細い隠れ層の幅は、ニューラルネットワークの最大情報容量にどのように影響するか？
• RQ3 線形、ReLU、双曲的活性化関数といった異なる活性化関数が、どれだけ同じMMI式に収束するか？
• RQ4 多層全結合ネットワークに対して最大相互情報量を解析的に導出可能か？また、その情報容量を支配するアーキテクチャ的パラメータは何か？
• RQ5 アーキテクチャ設計は、入力およびラベル変数との相互情報量で測定される良い表現の学習可能性にどのように影響するか？

主な発見

• 広範なニューラルアーキテクチャクラスにおける最大相互情報量（MMI）は、最小隠れ層幅 $\tilde{N} = \min(N_0, N_1, \dots, N_K)$ に依存する。K層ネットワークにおいては、この $\tilde{N}$ が定義される。
• 線形およびReLU活性化を用いた全結合ネットワークでは、MMIが一つの包括的公式により一般化された閉形式で与えられ、最小層幅が主要なアーキテクチャ的要因となる。
• シグモイド、tanh、SELU などの双曲的活性化関数では、可逆変換によるエントロピー保存のため、相互情報量 $I(X;Z)$ は正確に $I(X;A)$ に等しくなる（A は前活性化表現）。
• 多層ネットワークにおいても、相互情報量は最小層幅によって制限され、層の次元が異なる複数の隠れ層を含んでも同様に成り立つ。
• 結果はアーキテクチャに一般化可能である：単層、多層、全結合、畳み込みネットワーク（若干の調整を要するが）は、すべて同じ根本的なMMI挙動を示す。
• 理論的上限である $I(X;Z)$ は、望ましい情報容量を強制することでアーキテクチャ設計を支援する原理的根拠を提供し、トレーニング中の探索空間を縮小する。