[論文レビュー] How Does Information Bottleneck Help Deep Learning?

Kenji Kawaguchi, Zhun Deng+2 more|arXiv (Cornell University)|May 30, 2023

Stochastic Gradient Optimization Techniques被引用数 15

ひとこと要約

この論文は、情報ボトルネック正則化と深層学習の一般化を結ぶ厳密な一般化境界を初めて提供するもので、エンコーダが訓練データで学習される状況を含み、アーキテクチャを横断する実験で理論を検証している。

ABSTRACT

Numerous deep learning algorithms have been inspired by and understood via the notion of information bottleneck, where unnecessary information is (often implicitly) minimized while task-relevant information is maximized. However, a rigorous argument for justifying why it is desirable to control information bottlenecks has been elusive. In this paper, we provide the first rigorous learning theory for justifying the benefit of information bottleneck in deep learning by mathematically relating information bottleneck to generalization errors. Our theory proves that controlling information bottleneck is one way to control generalization errors in deep learning, although it is not the only or necessary way. We investigate the merit of our new mathematical findings with experiments across a range of architectures and learning settings. In many cases, generalization errors are shown to correlate with the degree of information bottleneck: i.e., the amount of the unnecessary information at hidden layers. This paper provides a theoretical foundation for current and future methods through the lens of information bottleneck. Our new generalization bounds scale with the degree of information bottleneck, unlike the previous bounds that scale with the number of parameters, VC dimension, Rademacher complexity, stability or robustness. Our code is publicly available at: https://github.com/xu-ji/information-bottleneck

研究の動機と目的

• 情報ボトルネックを深層学習の一般化に結びつける厳密な学習理論を提供する。
• 中間表現のエンドツーエンド学習において、情報ボトルネックを制御することで一般化誤差をあらかじめ境界付けできることを示す。
• 条件付き相互情報 I(X;Z|Y) および encoder-data の依存関係 I(φ(S);S) に依存する境界を導出することで、従来の予想を改善する。
• アーキテクチャや設定を横断して、一般化が情報ボトルネックの指標と相関することを実験で示す。

提案手法

• ニューラルネットワークを、 f^s = g_l^s o φ_l^s と表現し、 φ_l^s をエンコーダ、 g_l^s をネットワークの残りとする構成としてモデル化する。
• I(X;Z_l^s|Y) を含む一般化境界を導出し、 learned-encoder の場合には I(φ_l^S;S) を情報保存と過適合の指標として扱う。
• 2 つの主な結果を提示: 固定エンコーダについての定理1（s に依存しない）と、s で学習されたエンコーダについての定理2を、情報量と一般化の関係に結びつける。
• 2^{I(X;Z)} を I(X;Z|Y) に置き換えると、情報量に対して線形な、よりタイトな境界が得られることを示す。
• 無限ドメインの問題に対処し、相互情報のビニング推定を扱うコロライを提案する。
• CIFAR10 などのデータセットで実験を行い、表現とモデル圧縮指標を一般化の予測因子として比較することで、理論的結果を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック正則化は深層ニューラルネットワークの一般化誤差とどう関連するか。
• RQ2 エンコーダが訓練データから学習される場合、厳密な一般化境界を確立できるか。
• RQ3 条件付き相互情報 I(X;Z|Y) の使用は、 I(X;Z) や他の複雑さ指標より一般化の予測因子として優れているか。
• RQ4 情報ボトルネック量とエンコーダ-データ依存の経験的推定が、アーキテクチャを超えて一般化を予測するか。

主な発見

• 表現と表現関数の両方の単純さが一般化を支えるという新しい一般化境界。
• 相互情報への指数的依存を線形依存（I(X;Z|Y)）に置換すると、よりタイトな境界になる。
• エンコーダがデータとともに学習される場合、境界は I(X;Z|Y) に I(φ(S);S) を加えたもので、表現の圧縮とエンコーダの過適合の両方を捉える。
• CIFAR10 と MNIST の経験的結果は、表現圧縮とモデル圧縮を組み合わせた境界が、表現圧縮だけの境界より優れていることを示す。
• 結合項 I(S;θ_l^S) + I(X;Z_l^s|Y) の層ごとの最小を取ると、一般化ギャップを強く予測する力を持つ。
• このアプローチは相互情報量のビニングに関する恣意性を解消し、一般的な推定量および転移学習設定の下でも有効である。