[論文レビュー] Estimating Information Flow in Deep Neural Networks

Ziv Goldfeld, E. van den Berg+5 more|arXiv (Cornell University)|Oct 12, 2018

Adversarial Robustness in Machine Learning参考文献 22被引用数 20

ひとこと要約

この論文は、深層ニューラルネットワークにおけるガウス混合分布の微分エントロピーに関する上界と下界を提案する。モーメントに基づく近似と共分散構造を活用して情報フローを推定する。主な貢献は、成分の平均、分散、混合重みから導かれるエントロピーの境界を用いて情報伝搬を定量化する、新しい解析的フレームワークを構築したことである。

ABSTRACT

We study the flow of information and the evolution of internal representations during deep neural network (DNN) training, aiming to demystify the compression aspect of the information bottleneck theory. The theory suggests that DNN training comprises a rapid fitting phase followed by a slower compression phase, in which the mutual information $I(X;T)$ between the input $X$ and internal representations $T$ decreases. Several papers observe compression of estimated mutual information on different DNN models, but the true $I(X;T)$ over these networks is provably either constant (discrete $X$) or infinite (continuous $X$). This work explains the discrepancy between theory and experiments, and clarifies what was actually measured by these past works. To this end, we introduce an auxiliary (noisy) DNN framework for which $I(X;T)$ is a meaningful quantity that depends on the network's parameters. This noisy framework is shown to be a good proxy for the original (deterministic) DNN both in terms of performance and the learned representations. We then develop a rigorous estimator for $I(X;T)$ in noisy DNNs and observe compression in various models. By relating $I(X;T)$ in the noisy DNN to an information-theoretic communication problem, we show that compression is driven by the progressive clustering of hidden representations of inputs from the same class. Several methods to directly monitor clustering of hidden representations, both in noisy and deterministic DNNs, are used to show that meaningful clusters form in the $T$ space. Finally, we return to the estimator of $I(X;T)$ employed in past works, and demonstrate that while it fails to capture the true (vacuous) mutual information, it does serve as a measure for clustering. This clarifies the past observations of compression and isolates the geometric clustering of hidden representations as the true phenomenon of interest.

研究の動機と目的

• 深層ニューラルネットワークにおけるガウス混合モデルの微分エントロピーに関する解析的境界を構築すること。
• モーメントに基づく近似を用いて活性化のエントロピーを推定することで、深層ネットワーク内の情報フローを定量化すること。
• 混合成分の平均、分散、重みに依存する、取り扱い可能な上界および下界を提供すること。
• 実験的推定に依存せずに、深層学習における情報伝搬の理論的分析を可能にすること。

提案手法

• 混合成分の重みと成分平均間の対比較距離を用いて、微分エントロピーの上界を導出する。
• \beta = \sum_{i\in[n]} c_i \mu_i \mu_i^\top - \mu\mu^\top + \beta^2 I_d で定義される共分散行列の構造を用いる。ここで \mu = \sum_{i\in[n]} c_i \mu_i である。
• 情報理論的不等式を適用して、対数行列式項と混合成分のエントロピーを用いてエントロピーを境界化する。
• 式 (5a)、(5b)、(5c) の境界を確立し、重み付きエントロピー項と成分平均間の幾何的距離を組み合わせる。
• 深層ネットワークにおける活性化の分布を近似するために、ガウス混合モデルの仮定を用いる。
• 密度推定を完全に必要としないモーメントに基づく近似を導入してエントロピーを推定する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、モーメントと混合重みのみを用いて、深層ネットワークにおけるガウス混合の微分エントロピーを境界化できるか？
• RQ2 活性化の共分散構造と深層ニューラルネットワーク内の情報フローの関係は何か？
• RQ3 モンテカルロ法や密度推定に依存せずに、タイトな解析的境界を導出できるか？
• RQ4 成分平均間の対比較距離が、全体の混合分布のエントロピーにどのように影響するか？
• RQ5 重み付き共分散行列 \beta は、エントロピー境界の形状にどのような役割を果たすか？

主な発見

• 上界 (5a) は、混合成分の重みとその分散に基づく閉形式の微分エントロピー表現を提供する。
• 境界 (5b) は、指数的減衰項を介して成分平均間の対比較距離を組み込むことで、推定を精緻化する。
• 境界 (5c) は、共分散行列 \beta の対数行列式を用いてエントロピーを表現し、混合分布全体の広がりと関連付ける。
• 提案された境界は計算的に取り扱いやすく、混合成分の一次および二次モーメントのみに依存する。
• このフレームワークにより、エントロピー境界を用いてネットワーク活性化における不確実性を定量化することで、情報フローの理論的分析が可能になる。
• これらの境界は任意のガウス混合に適用可能であり、深層ネットワークの層間における情報伝搬の分析に応用可能である。