[論文レビュー] Layer-wise Learning of Stochastic Neural Networks with Information Bottleneck

Thành Tâm Nguyên, Jaesik Choi|arXiv (Cornell University)|Dec 4, 2017

Adversarial Robustness in Machine Learning参考文献 39被引用数 9

ひとこと要約

本稿では、確率的ニューラルネットワークの各層において、圧縮と関連性のトレードオフを明示的に最適化するため、情報ボトルネック原理のマルチボトルネック拡張版である情報マルチボトルネック（IMBs）を提案する。各層を学習可能なパラメータを有する独立したボトルネックとして定式化することで、MNISTおよびCIFAR10において最大尤度推定（MLE）よりも分類精度と敵対的ロバストネスが向上し、深層表現における情報の効果的利用が実証された。

ABSTRACT

Information Bottleneck (IB) is a generalization of rate-distortion theory that naturally incorporates compression and relevance trade-offs for learning. Though the original IB has been extensively studied, there has not been much understanding of multiple bottlenecks which better fit in the context of neural networks. In this work, we propose Information Multi-Bottlenecks (IMBs) as an extension of IB to multiple bottlenecks which has a direct application to training neural networks by considering layers as multiple bottlenecks and weights as parameterized encoders and decoders. We show that the multiple optimality of IMB is not simultaneously achievable for stochastic encoders. We thus propose a simple compromised scheme of IMB which in turn generalizes maximum likelihood estimate (MLE) principle in the context of stochastic neural networks. We demonstrate the effectiveness of IMB on classification tasks and adversarial robustness in MNIST and CIFAR10.

研究の動機と目的

• 深層ニューラルネットワークにおける原理的で階層的な圧縮と関連性最適化の欠如に対処すること。
• 情報ボトルネック原理を複数のボトルネックに拡張し、ニューラルネットワークの各層を独立したボトルネックとしてモデル化すること。
• 確率的ニューラルネットワークにおける最大尤度推定（MLE）原理に対する理論的裏付けのある代替手法を提供すること。
• IMBsが隠れ表現における情報の利用をMLEよりも効果的に行うことを実証的に検証すること。
• 明示的で階層的な情報トレードオフ最適化を通じて、一般化性能と敵対的ロバストネスを向上させること。

提案手法

• 情報ボトルネック（IB）原理を複数のボトルネックに拡張し、各層の表現と入力間の相互情報量（圧縮）と各層とターゲット間の相互情報量（関連性）のバランスを取るラグランジュ形式としてIMBを定式化する。
• 各ニューラルネットワーク層を確率的エンコーダーおよびデコーダーとしてモデル化し、条件付き分布p(z_l|x)とp(y|z_l)を定義するパラメータを有する。
• 変分推論を用いて、計算不能な相互情報量項I(Z_l;X)およびI(Z_l;Y)を変分境界によって近似する。
• 勾配推定技術を適用して、IMB目的関数の変分下界を最適化し、エンドツーエンドの学習を可能にする。
• 確率的エンコーダーにおける複数のボトルネックにおける最適性の矛盾を扱うために、妥協型の訓練スキームを導入する。
• 各層ごとに別個のβ_lを用いて、圧縮と関連性をバランスさせる段階的訓練目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック原理は、深層ニューラルネットワークにおける複数のボトルネックに意味的に拡張可能か？
• RQ2 確率的ニューラルネットワークにおいて、すべての層で同時に最適な圧縮と関連性のトレードオフを達成することは可能か？
• RQ3 IMB目的関数は、表現学習の質と下流性能においてMLEと比較してどのように異なるか？
• RQ4 明示的な階層的情報最適化は、一般化性能と敵対的ロバストネスを向上させるか？
• RQ5 IMBとMLEの両者において、訓練過程における相互情報量のダイナミクスはどのように変化するか？

主な発見

• IMBsは、MNISTおよびCIFAR10においてMLEよりも高い分類精度を達成し、一貫した敵対的ロバストネスの向上を示した。
• IMBで訓練されたネットワークの表現における関連性（I(Z_l;Y））は、MLEよりも速やかに増加し、より高い値に安定化しており、情報の効果的利用が図られていることを示している。
• IMBで訓練されたネットワークにおける圧縮（I(Z_l;X)）は、より顕著な「曲がり曲がり効果（bending-over effect）」を示しており、MLEに比べてより効果的かつ明示的な圧縮が行われていることが示唆された。
• MLE目的関数は訓練の初期段階ですでに局所最適解に達し、表現が最適な情報トレードオフに到達できなくなるのに対し、IMBは各層にわたり表現を継続的に最適化し続ける。
• IMBにより、深層部の層がより高い関連性とより効果的な圧縮を維持できており、階層的表現学習の効果的利用が可能であることが示された。
• IMB目的関数の変分近似は、特に初期訓練段階において、MLEよりも安定的で情報量の多い表現学習プロセスを実現した。