[論文レビュー] Information Bottleneck Theory on Convolutional Neural Networks

Junjie Li, Ding Liu|arXiv (Cornell University)|Nov 9, 2019

Adversarial Robustness in Machine Learning参考文献 31被引用数 6

ひとこと要約

本稿は、MNISTおよびFashion-MNISTを用いた相互情報量（MI）解析を通じて、畳み込みニューラルネットワーク（CNN）への情報ボトルネック（IB）理論の適用可能性を調査している。フィードフォワードネットワークとは対照的に、CNNでは一貫した圧縮段階が観察されないことが判明した。これは、圧縮が普遍的な学習段階ではないことを示唆しており、ネットワークの深さ、カーネルサイズ、幅が情報の抽出および汎化性能に顕著な影響を及ぼすことを明らかにした。

ABSTRACT

Recent years, many researches attempt to open the black box of deep neural networks and propose a various of theories to understand it. Among them, Information Bottleneck (IB) theory claims that there are two distinct phases consisting of fitting phase and compression phase in the course of training. This statement attracts many attentions since its success in explaining the inner behavior of feedforward neural networks. In this paper, we employ IB theory to understand the dynamic behavior of convolutional neural networks (CNNs) and investigate how the fundamental features such as convolutional layer width, kernel size, network depth, pooling layers and multi-fully connected layer have impact on the performance of CNNs. In particular, through a series of experimental analysis on benchmark of MNIST and Fashion-MNIST, we demonstrate that the compression phase is not observed in all these cases. This shows us the CNNs have a rather complicated behavior than feedforward neural networks.

研究の動機と目的

• 情報ボトルネック（IB）理論が示す二段階の学習ダイナミクス（適合と圧縮）が、畳み込みニューラルネットワーク（CNN）においても成立するかを調査すること。
• 畳み込み層の幅、カーネルサイズ、深さ、プーリング層、マルチフルーケンケン層といった基本的なアーキテクチャ的要因が、情報の流れと汎化性能に与える影響を分析すること。
• 先行研究におけるフィードフォワードネットワークの報告とは異なり、二重飽和型非線形関数（例：tanh）がCNNにおいて圧縮段階を誘発するかどうかを検証すること。
• ベンチマークデータセットを用いた実証的分析を通じて、相互情報量（MI）のダイナミクスとモデルの汎化性能の関係を評価すること。

提案手法

• 訓練エポックにわたる入力、隠れ層、出力間の相互情報量（MI）推定を用いて、情報プレーン（IP）の軌道を構築する。
• 行列ベースのRényiエントロピー推定器を用いてMIを計算し、高次元表現におけるバイアスを低減し、安定性を向上させる。
• 深さ、カーネルサイズ、幅、プーリング、フルーケンケン層の変化を制御した標準的なCNNアーキテクチャをMNISTおよびFashion-MNISTで訓練する。
• 層および学習段階にわたるMIダイナミクス（I(X;T)およびI(Y;T)）を分析し、適合および圧縮行動を検出する。
• プーリング層の有無や非線形関数（例：tanh）の違いを比較し、MIの進化に与える影響を評価する。
• 訓練中にMIの収束状態とテスト精度を追跡することで、汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 IB理論で定義される圧縮段階が、標準的なCNNの訓練中に出現するか？
• RQ2 カーネルサイズ、深さ、幅、プーリングといったアーキテクチャのハイパーパrameterが、CNNにおける相互情報量ダイナミクスに与える影響は何か？
• RQ3 CNNに二重飽和型非線形関数（例：tanh）を用いることで、検出可能な圧縮段階が生じるか？
• RQ4 プーリング層およびマルチフルーケンケン層が、CNNにおける情報抽出および汎化性能に与える影響はどの程度か？
• RQ5 相互情報量ダイナミクスとモデルの汎化性能の間に一貫した関係が存在するか？

主な発見

• 標準的なCNNの畳み込み層およびフルーケンケン層において、一貫した圧縮段階は観察されなかった。tanhなどの二重飽和型非線形関数を用いても同様であった。
• 畳み込み層は、入力からラベルへの関連する情報のほとんどを抽出しており、相互情報量（I(X;T)）が理論的上限に近い値を示した。
• 畳み込み層の幅を広くすることで、汎化性能が向上し、狭いアーキテクチャよりも少ない訓練エポックで最適な性能に到達した。
• 大きなカーネルサイズおよび深いネットワークは、初期段階で情報抽出効率を向上させるが、過大なサイズや深さのアーキテクチャは、同じMI水準に到達するまでに著しく多くの訓練エポックを要した。
• プーリング層は最終層の相互情報量（I(Y;T)）をわずかに増加させ、汎化性能にやや良い影響を与えるが、決定的要因ではないことが示唆された。
• CNNにおいて普遍的な圧縮段階が観察されないことは、圧縮が深層学習の汎化の背後にある根本的メカニズムであるという仮説に疑問を呈する。