[論文レビュー] Understanding Convolutional Neural Network Training with Information Theory.

Shujian Yu, Robert Jenssen+1 more|arXiv (Cornell University)|Apr 18, 2018

Neural Networks and Applications被引用数 12

ひとこと要約

本稿は、情報理論を用いて畳み込みニューラルネットワーク（CNN）の学習ダイナミクスを分析するため、行列ベースのRényiのαエントロピーの多次元拡張を導入する。実際のCNNにおいて基本的なデータ処理不等式の妥当性を検証し、学習ダイナミクスおよびアーキテクチャ設計に関する新たな知見を提供する。

ABSTRACT

Using information theoretic concepts to understand and explore the inner organization of deep neural networks (DNNs) remains a big challenge. Recently, the concept of an information plane began to shed light on the analysis of multilayer perceptrons (MLPs). We provided an in-depth insight into stacked autoencoders (SAEs) using a novel matrix-based Renyi's {\alpha}-entropy functional, enabling for the first time the analysis of the dynamics of learning using information flow in real-world scenario involving complex network architecture and large data. Despite the great potential of these past works, there are several open questions when it comes to applying information theoretic concepts to understand convolutional neural networks (CNNs). These include for instance the accurate estimation of information quantities among multiple variables, and the many different training methodologies. By extending the novel matrix-based Renyi's {\alpha}-entropy functional to a multivariate scenario, this paper presents a systematic method to analyze CNNs training using information theory. Our results validate two fundamental data processing inequalities in CNNs, and also have direct impacts on previous work concerning the training and design of CNNs.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）における、多次元情報量の正確な推定が不十分であるという点を解決すること。特に、情報理論的分析の体系的欠如に焦点を当てる。
• 行列ベースのRényiのαエントロピー関数を多次元フレームワークに拡張し、複雑なCNNアーキテクチャの分析を可能にする。
• 学習中に情報がどのように流れているかを、特に多様な学習手法の下で調査すること。
• 実世界のCNN学習シナリオにおいて、基本的なデータ処理不等式を検証すること。
• 情報理論的原則を用いて、CNNの設計および最適化に関する新たな理論的・実用的知見を提供すること。

提案手法

• 行列ベースのRényiのαエントロピー関数を多次元設定に拡張し、CNNの複数の層にまたがる情報の流れの分析を可能にする。
• 拡張された関数を用いて、複雑で現実的なデータおよびネットワーク構造を持つ深層アーキテクチャにおける相互情報量およびエントロピーを定量的に測定する。
• 多次元Rényiのαエントロピーを用いて、CNNの特徴表現における複数変数間の情報量を推定する。
• 誤差逆伝播と最適化中の層間を横断する情報の流れを追跡することで、学習ダイナミクスを分析する。
• 情報損失および層間の変換を測定することで、理論的なデータ処理不等式を検証する。
• 異なる学習戦略およびネットワークアーキテクチャ間の情報の流れを比較するための体系的フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 多次元情報理論を、畳み込みニューラルネットワークにおける学習ダイナミクスの分析に効果的に適用する方法は何か？
• RQ2 基本的なデータ処理不等式は、実世界のCNN学習シナリオにおいてどの程度成立するか？
• RQ3 提案された多次元Rényiのαエントロピー関数は、深層ネットワークにおける情報量の推定をどの程度改善するか？
• RQ4 情報の流れの分析は、CNNの内部的組織構造および学習行動に関するどのような知見を提供するか？
• RQ5 異なる学習手法は、情報理論的指標で測定した場合、CNNにおける情報処理にどのように影響を与えるか？

主な発見

• 提案された行列ベースのRényiのαエントロピーの多次元拡張により、複雑なCNNアーキテクチャにおける情報量の正確な推定が可能になった。
• 本研究では、実世界のCNN学習において2つの基本的なデータ処理不等式が検証され、理論的期待が実際の設定でも裏付けられた。
• 情報の流れの分析により、学習過程における層間の情報損失および変換の明確なパターンが明らかになった。
• 本手法はCNNの内部的組織構造に関する新たな知見を提供し、より良いネットワーク設計および学習戦略の支援に貢献した。
• フレームワークは、多様な学習手法において一貫した性能を示し、その頑健性および一般化可能性を示した。