[論文レビュー] Unpacking Information Bottlenecks: Unifying Information-Theoretic Objectives in Deep Learning

Andreas Kirsch, Clare Lyle+1 more|arXiv (Cornell University)|Mar 27, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用数 10

ひとこと要約

この論文は、複雑な相互情報推定器に代わる計算可能な代替目的関数を導入することで、深層学習における情報理論的目的関数を統一する。デコーダーの不確実性と逆デコーダーの不確実性にノイズ正則化を組み合わせることで、ResNetなどの現代的なDNNをMNIST、CIFAR-10、Imagenetteで効果的に学習可能にし、密度推定や複雑な推定器に依存せずに、既存のIBベースの手法と同等またはそれ以上の性能を達成する。

ABSTRACT

The Information Bottleneck principle offers both a mechanism to explain how deep neural networks train and generalize, as well as a regularized objective with which to train models. However, multiple competing objectives are proposed in the literature, and the information-theoretic quantities used in these objectives are difficult to compute for large deep neural networks, which in turn limits their use as a training objective. In this work, we review these quantities and compare and unify previously proposed objectives, which allows us to develop surrogate objectives more friendly to optimization without relying on cumbersome tools such as density estimation. We find that these surrogate objectives allow us to apply the information bottleneck to modern neural network architectures. We demonstrate our insights on MNIST, CIFAR-10 and Imagenette with modern DNN architectures (ResNets).

研究の動機と目的

• 現代の深層ニューラルネットワークに情報ボトルネック（IB）目的関数を適用する際の整合性の欠如と計算上の課題を解決すること。
• デコーダーの不確実性と逆デコーダーの不確而性という2つの情報量の中心的要因を特定することで、競合するIB目的関数を統一すること。
• 標準的な深層学習最適化と互換性があり、計算的に効率的な代替目的関数を開発すること。
• これらの代替関数が、複雑な相互情報推定に依存せずに、既存のIB手法と同等またはそれ以上の性能を達成できることを示すこと。
• 連続的潜在空間における微分エントロピー最適化の不安定性を解消するためのノイズの役割を明確にすること。

提案手法

• デコーダーの不確実性 H(Y|Z) を主損失とし、逆デコーダーの不確実性 H(Z|Y) を正則化項として用いる統一されたIB目的関数を提案する。
• 潜在表現にノイズを注入することで、微分エントロピー推定の安定化と病理的最適化行動の防止を実現する。
• ドロップアウト正則化下で標準的な交差エントロピー損失に等しい、H(Y|Z) の計算可能な上界を導出する。
• ノイズ付き特徴ベクトルに対するL2正則化をH(Z|Y) の代替関数として用い、エンド・ツー・エンド学習を可能にする。
• ドロップアウトとガウスノイズを用いて、平均と分散の明示的パrameterizationなしに変分推論を近似する、暗黙の確率的構造を利用する。
• 画像分類ベンチマークにおいて、ResNet18 やMLPといった標準的なDNNアーキテクチャを用いて、代替目的関数の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック原理における競合する情報理論的目的関数を、一貫したフレームワークで統一するにはどうすればよいか？
• RQ2 密度推定に依存せずに、深層学習における計算不能な相互情報項を置き換える代替目的関数は何か？
• RQ3 連続的潜在空間における微分エントロピーが最適化の病理を引き起こす理由は何か？そして、どのように安定化できるか？
• RQ4 単純で微分可能なIB目的関数の代替関数は、複雑なIBベースの手法と同等の性能を、現代のDNNで達成できるか？
• RQ5 ノイズは、連続的IB目的関数における潜在表現の意味的な正則化をどのように果たすか？

主な発見

• ドロップアウト正則化下で、交差エントロピー損失とノイズ付き特徴ベクトルのL2正則化を組み合わせた提案された代替目的関数は、Permutation-MNISTにおいてDVIBと同等またはそれ以上のテスト誤差を達成しており、より単純である。
• 潜在特徴にノイズを注入することで、訓練中に微分エントロピーが無限に減少するのを防ぎ、最適化の安定化と一般化性能の向上を実現する。
• デコーダーの不確実性 H(Y|Z) の上界は、ドロップアウト下で標準的な交差エントロピー損失と数学的に同等であり、その使用に理論的根拠を与える。
• 逆デコーダーの不確実性 H(Z|Y) は、ノイズ付き潜在特徴ベクトルに対するL2正則化によって効果的に近似可能であり、明示的な密度推定を回避できる。
• 本手法により、CIFAR-10 や Imagenette における現代的アーキテクチャ（例：ResNet18）へのIB目的関数の有効な適用が可能となり、情報平面プロットから明確な圧縮-一般化トレードオフが観察される。
• 著者らは、DVIBのハイパーパrameter β と本手法の γ は直接比較できないこと、およびDVIBの固定された単位ガウス事前分布が、本手法と比較して柔軟性に欠けることを示している。