[論文レビュー] Understanding Convolutional Neural Networks with Information Theory: An Initial Exploration

Shujian Yu, Kristoffer Wickstrøm+2 more|arXiv (Cornell University)|Apr 18, 2018

Neural Networks and Applications参考文献 55被引用数 12

ひとこと要約

本稿では、確率密度関数を必要とせずに畳み込みニューラルネットワーク（CNN）における多次元相互情報量（MMI）を正確に測定する、新しい行列ベースのRényiのαエントロピー推定器を提案する。カーネル法と情報理論的フレームワーク（例：部分情報分解、PID）を活用することで、データ処理不等式（DPI）の妥当性を実証し、特徴マップにおける重複と協調性を明らかにし、フィルタレベルでのプルーニングとCNN学習ダイナミクスのより深い洞察を可能にする。

ABSTRACT

The matrix-based Renyi's α-entropy functional and its multivariate extension were recently developed in terms of the normalized eigenspectrum of a Hermitian matrix of the projected data in a reproducing kernel Hilbert space (RKHS). However, the utility and possible applications of these new estimators are rather new and mostly unknown to practitioners. In this paper, we first show that our estimators enable straightforward measurement of information flow in realistic convolutional neural networks (CNN) without any approximation. Then, we introduce the partial information decomposition (PID) framework and develop three quantities to analyze the synergy and redundancy in convolutional layer representations. Our results validate two fundamental data processing inequalities and reveal some fundamental properties concerning the training of CNN.

研究の動機と目的

• 高次元かつ多様な特徴マップ表現を持つCNNにおいて、従来の手法が失敗するという多次元相互情報量（MMI）推定の課題に対処すること。
• 再帰的ヒルベルト空間（RKHS）に基づくRényiのαエントロピー推定器を基盤とする、非パラメトリックな実用的フレームワークを構築し、CNNにおける情報フローの測定を可能にすること。
• 部分情報分解（PID）フレームワークを用いて、畳み込み層内の特徴マップ間における協調性と重複を定量的に分析すること。
• 特にデータ処理不等式（DPI）を含む、基本的な情報理論的原則が、VGG-16のような現実的なCNNアーキテクチャで成立することを検証すること。
• 推定された相互情報量に基づく情報ボトルネック（IB）目的関数を用いて、フィルタレベルでのプルーニングを可能にすること。

提案手法

• RKHSに埋め込まれたデータから構築されたエルミート行列の正規化固有値スペクトルに基づく行列ベースのRényiのαエントロピー関数推定器を用い、明示的なPDF推定を回避する。
• 複数の特徴マップにおけるカーネル行列のハダマード積を計算することで、入力と複数の特徴表現間のMMIの共同推定を可能にする、多次元設定への推定器の拡張。
• 特徴マップ間の共有情報と固有情報の分解を可能にする部分情報分解（PID）フレームワークを用い、冗長性と協調性を分析する3つの量を定義する。
• フィルタレベルの重要性を評価するために、情報ボトルネック（IB）目的関数 I(X;T^i) - βI(T^i;Y) を適用し、最適な圧縮と関連性を達成するようにβを調整する。
• CIFAR-10を用いたVGG-16における結果の妥当性を検証し、層を跨る I(X;T_k) の単調減少によりDPIを実証する。
• 計算複雑度を O(n³) から O(n log n) に削減するため、カーネルランダム化を用い、大規模データセットへのスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 CNNにおける入力と複数の特徴マップ間の多次元相互情報量（MMI）は、既知の確率密度関数を仮定せずに正確に推定可能か？
• RQ2 層を跨る情報フローを測定する際、深層CNNにおいてデータ処理不等式（DPI）は成立するか？
• RQ3 情報理論的分解を用いて、畳み込み層内の特徴マップ間の協調性と冗長性をどのように定量的に分析できるか？
• RQ4 推定された相互情報量の値が、フィルタの重要性とどの程度相関しているか。これにより、効果的なネットワークプルーニングが可能か？
• RQ5 カーネルサイズ σ やRényi順序 α などのハイパーパrameterが、CNNにおける情報推定の信頼性にどのように影響するか？

主な発見

• 提案された行列ベースのRényiのαエントロピー推定器により、PDF推定を必要とせず、CNNにおける多次元相互情報量の正確な非パラメトリック推定が可能になった。
• CIFAR-10におけるVGG-16において、データ処理不等式（DPI）が実証的に検証され、層を跨る I(X;T_k) の単調減少が確認され、DNNのマークフ・チェーン構造が裏付けられた。
• VGG-16のCONV5-3層では、約55%のフィルタが情報ボトルネック目的関数の閾値を超えており、これはそれらが重要度が低く、プルーニングの対象となる可能性を示している。
• 512個の特徴マップのカーネル行列のハダマード積を計算する際、カーネル行列の固有値スペクトルがほぼ一様になることが示され、深層部で情報推定の飽和が生じていることが示唆された。
• Rényi順序 α = 1.01 はシャノンエントロピーに非常に近似し、Silvermanのルールや、平均対間距離の10–20%に設定されたカーネルサイズ σ が推定の堅牢性を確保する。
• 推定された相互情報量に基づく情報ボトルネック目的関数を用いたフィルタレベルのプルーニングが可能となり、CONV5-3の半数以上が冗長であり、精度損失を最小限に抑えつつ削除可能であることが示された。