[論文レビュー] Information Bottleneck and its Applications in Deep Learning

Hassan Hafez-Kolahi, Shohreh Kasaei|arXiv (Cornell University)|Apr 7, 2019

Adversarial Robustness in Machine Learning参考文献 56被引用数 11

ひとこと要約

本調査は深層学習における情報ボトルネック（IB）フレームワークを検討し、圧縮と予測のバランスを取ることでニューラルネットワークの分析と改善に果たす役割を示している。IBは確率的勾配降下法、変分オートエンコーダー、最小十分統計量と結びつける一方で、決定的で深いネットワークに情報理論を適用する際の一般的な落とし穴についても警告している。

ABSTRACT

Information Theory (IT) has been used in Machine Learning (ML) from early days of this field. In the last decade, advances in Deep Neural Networks (DNNs) have led to surprising improvements in many applications of ML. The result has been a paradigm shift in the community toward revisiting previous ideas and applications in this new framework. Ideas from IT are no exception. One of the ideas which is being revisited by many researchers in this new era, is Information Bottleneck (IB); a formulation of information extraction based on IT. The IB is promising in both analyzing and improving DNNs. The goal of this survey is to review the IB concept and demonstrate its applications in deep learning. The information theoretic nature of IB, makes it also a good candidate in showing the more general concept of how IT can be used in ML. Two important concepts are highlighted in this narrative on the subject, i) the concise and universal view that IT provides on seemingly unrelated methods of ML, demonstrated by explaining how IB relates to minimal sufficient statistics, stochastic gradient descent, and variational auto-encoders, and ii) the common technical mistakes and problems caused by applying ideas from IT, which is discussed by a careful study of some recent methods suffering from them.

研究の動機と目的

• 情報ボトルネック（IB）フレームワークと現代の深層学習におけるその関連性を包括的に概説すること。
• IBが確率的勾配降下法や変分オートエンコーダーを含む多様な機械学習手法を統合的に理解する理論的枠組みを提供する仕組みを説明すること。
• 連続的で決定論的なアーキテクチャを対象とした深層ニューラルネットワークに情報理論を適用する際の技術的課題と一般的な誤りを強調すること。
• 深層学習における一般化誤差をバインドするのに相互情報量を用いる理論的・実用的限界を検討すること。
• 誤ったマルコフ仮定や不適切に定式化された問題に依存する最近のIBベースの手法における誤解を明確にすること。

提案手法

• 十分統計量からの情報抽出の歴史的発展から情報ボトルネックへの発展をレビューし、理論的基盤に焦点を当てる。
• IBの目的関数を紹介する：Yに関する情報の保持を保ちつつ、I(X;T)の相互情報量を最小化する、すなわち max I(Y;T) − βI(X;T) である。
• IBを解く古典的手法としてのBlahut-Arimotoアルゴリズムを説明するが、離散的または指数型分布族に限られる。
• 変分近似を用いることで、アンモラライズド推論により連続的かつ複雑な深層学習モデルへの適用を可能にする。
• 一般化誤差をバインドするために、学習済みモデルA(S)と訓練データSとの間の相互情報量I(S;A(S))の使用を分析する。これは情報理論からの一般化バインドに基づく。
• 最近のDNNへのこの一般化バインドの適用を批判的に評価し、データフローにおける正当でないマルコフ仮定（W → S → S₁ → … → Sm）の欠如を特定する。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネックフレームワークは、確率的勾配降下法や変分オートエンコーダーといった見かけ上異なる機械学習手法をどのように統合的理論的枠組みで結びつけるのか？
• RQ2 連続的で決定論的な設定において、情報理論的概念を深層ニューラルネットワークに適用する際の理論的・実用的限界は何か？
• RQ3 なぜ相互情報量を用いて決定論的深層ネットワークを訓練することは不適切とされるのか、その結果は何か？
• RQ4 解空間が適切に制約されていない場合、IBの変分近似はどのように失敗するのか？
• RQ5 訓練データとモデルパラメータの間の相互情報量を用いて、深層学習モデルの一般化誤差を意味的にバインドすることは可能か？そのようなバインドに内在する仮定は何か？

主な発見

• 情報ボトルネックは、情報圧縮と予測の観点から、最小十分統計量、確率的勾配降下法、変分オートエンコーダーを統合的に結びつける統一的理論的枠組みを提供する。
• 変分近似を用いて解かれた場合、変分オートエンコーダーはIBフレームワークの特別なケースであることが示され、生成モデルと表現学習の間に深い理論的関係を確立する。
• 決定論的深層ネットワークの訓練に相互情報量を適用すると、結合分布が特異的になるため、正則化なしではMI推定が不可能になるため、不適切な問題となる。
• 最近のDNNにおけるI(S;A(S))を用いた一般化誤差のバインド試みは、W → S → S₁ → … → Smという正当でないマルコフ仮定に依存しているため、誤りである。
• I(S;A(S))の一般化バインドは理論的には魅力的だが、未知の分布を持つ複雑で高次元のモデルにおいて相互情報量の推定が困難であるため、実用的には不適切である。
• 理論的期待に満ちているものの、相互情報量の推定や変分族の選択といった技術的落とし穴のため、情報理論を深層学習に応用することは依然として困難である。