[論文レビュー] Understanding Autoencoders with Information Theoretic Concepts

Shujian Yu, José C. Prı́ncipe|arXiv (Cornell University)|Mar 30, 2018

Statistical Mechanics and Entropy被引用数 13

ひとこと要約

本論文は、行列ベースのRényiのαエントロピー推定器を用いた情報理論的枠組みを提案し、オートエンコーダーの学習ダイナミクスを分析することで、層間相互情報量の流れに関する3つの基本的性質を明らかにした。本研究では、高次元空間においてデータ処理不等式（DPI）が成り立つことを示し、最適なボトルネック層サイズに関連する情報平面における分岐点を同定した。これにより、オートエンコーダーの設計と一般化に関する洞察が得られた。

ABSTRACT

Despite their great success in practical applications, there is still a lack of theoretical and systematic methods to analyze deep neural networks. In this paper, we illustrate an advanced information theoretic methodology to understand the dynamics of learning and the design of autoencoders, a special type of deep learning architectures that resembles a communication channel. By generalizing the information plane to any cost function, and inspecting the roles and dynamics of different layers using layer-wise information quantities, we emphasize the role that mutual information plays in quantifying learning from data. We further suggest and also experimentally validate, for mean square error training, three fundamental properties regarding the layer-wise flow of information and intrinsic dimensionality of the bottleneck layer, using respectively the data processing inequality and the identification of a bifurcation point in the information plane that is controlled by the given data. Our observations have a direct impact on the optimal design of autoencoders, the design of alternative feedforward training methods, and even in the problem of generalization.

研究の動機と目的

• 深層ニューラルネットワーク、特にオートエンコーダーの分析のための理論的枠組みの欠如に応えるために、情報理論を適用すること。
• 明示的な確率密度関数（PDF）推定を必要としない、高次元の深層ニューラルネットワーク活性化における相互情報量を実用的かつ正確に推定する手法を開発すること。
• オートエンコーダー学習中の情報流れの基本的性質を解明し、一般化とアーキテクチャ設計に関連付けること。
• 実世界のデータセットを用いて提案された情報理論的枠組みを検証し、最適な学習段階および層構成を特定する有効性を示すこと。

提案手法

• 再生成核ヒルバート空間（RKHS）において、行列ベースのRényiのαエントロピー関数を用いてエントロピーと相互情報量を推定し、直接的なPDF推定を回避する。
• Rényiの相互情報量の経験的推定器を適用し、複数の層を含むスタックドオートエンコーダー（SAE）における層ごとの情報量を計算する。
• エンコーダーおよびデコーダー層間の相互情報量ダイナミクスを組み込むことで、任意のコスト関数に一般化された情報平面の概念を拡張する。
• 高次元設定における相互情報量推定器の一貫性を検証する理論的ベンチマークとして、データ処理不等式（DPI）を用いる。
• 情報平面における分岐点解析を導入し、情報流れの挙動に基づいて最適なボトルネック層サイズを同定する。
• 実世界のデータセットを用いて、平均二乗誤差損失で学習されたSAEを用いて、情報流れと分類精度を比較することで、主張を検証する。

実験結果

リサーチクエスチョン

• RQ1 確率密度関数（PDF）推定に依存せずに、高次元空間におけるオートエンコーダーの相互情報量の流れをどのように正確に推定できるか。
• RQ2 スタックドオートエンコーダーにおける層間の情報流れのダイナミクスを支配する基本的性質は何か。
• RQ3 活性化関数の選択（例：ReLU対sigmoid）は、情報平面における圧縮段階にどのように影響するか。
• RQ4 情報平面における分岐点を用いて、一般化に最適なボトルネック層サイズを特定できるか。
• RQ5 異なる相互情報量推定器は、情報平面の挙動（例：圧縮段階の有無・無し）にどの程度影響を与えるか。

主な発見

• 行列ベースのRényiのαエントロピー推定器は、高次元空間（最大約1,000次元）においても、データ処理不等式などの理論的期待を保ちながら、相互情報量の正確な推定を可能にする。
• 情報平面における分岐点は、最適なボトルネック層サイズの重要なマーカーとして特定され、訓練中にこの点の近傍で分類精度が最大値に達することが観察された。
• 平均二乗誤差損失による学習では、層ごとの相互情報量の流れが3つの基本的性質を示す：エンコーダー情報量の単調減少、ボトルネックにおける圧縮段階、デコーダーにおける回復段階。
• 圧縮段階は非線形性の種別（例：sigmoid対ReLU）に依存するのではなく、相互情報量推定器の選択に大きく影響を受ける。KDEおよびKNNベースの手法では、異なる挙動を示した。
• 本推定器を用いることで、ReLU活性化関数を用いても、情報平面において明確な圧縮段階が観察された。これは、以前の主張（ReLUは圧縮を妨げる）とは矛盾する。
• 一般化に最適な学習段階は、情報平面曲線のへこみ（knee）に対応し、ここでボトルネック層が圧縮と表現忠実度の最良のトレードオフを達成している。