[論文レビュー] Inverting Supervised Representations with Autoregressive Neural Density Models

Charlie Nash, Nate Kushman+1 more|arXiv (Cornell University)|Jun 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 11

ひとこと要約

この論文は、教師あり深層ニューラルネットワークの中間表現を逆方向に再構築するために自己回帰的ニューラル密度モデルを用いる手法を提案し、中間特徴量に条件付けられた入力分布の可視化を可能にする。本手法は、入力と隠れ層との間の相互情報量を正確かつスケーラブルに推定でき、訓練過程において情報量が当初は増加し、その後減少することを明らかにしている。これはReLU畳み込みネットワークにおける情報ボトルネック理論を支持する。

ABSTRACT

We present a method for feature interpretation that makes use of recent advances in autoregressive density estimation models to invert model representations. We train generative inversion models to express a distribution over input features conditioned on intermediate model representations. Insights into the invariances learned by supervised models can be gained by viewing samples from these inversion models. In addition, we can use these inversion models to estimate the mutual information between a model's inputs and its intermediate representations, thus quantifying the amount of information preserved by the network at different stages. Using this method we examine the types of information preserved at different layers of convolutional neural networks, and explore the invariances induced by different architectural choices. Finally we show that the mutual information between inputs and network layers decreases over the course of training, supporting recent work by Shwartz-Ziv and Tishby (2017) on the information bottleneck theory of deep learning.

研究の動機と目的

• 中間特徴量に条件付けられた入力の分布をモデル化することで、教師あり深層ネットワークの中間表現を解釈する手法を開発すること。
• 従来の非パラメトリック法や最適化に基づく手法に欠ける点を克服し、入力とネットワーク表現との間の相互情報量をスケーラブルかつ正確に推定する手法を提供すること。
• アーキテクチャの選択と学習ダイナミクスが、畳み込みニューラルネットワークにおける情報保持と不変性に与える影響を分析すること。
• 訓練過程に伴う相互情報量の変化を追跡することで、ReLU畳み込みネットワークにおける情報ボトルネック理論を実証的に検証すること。

提案手法

• 事前に訓練された分類器から得られる隠れ表現 h を用いて、条件付き分布 p(x|h) を学習する自己回帰的ニューラル密度モデルを訓練する。
• 自己回帰構造により、入力の同時分布が画素次元ごとの条件付き確率の積に分解され、正確な密度推定が可能になる。
• 逆方向モデルの負の交差エントロピーに基づいて導出された下界を用いて、入力と表現との間の相互情報量を推定する。
• 敵対的学習を用いない単一の最適化目的関数を採用することで、高次元入力に対しても安定的かつスケーラブルな性能を実現する。
• 情報の流れや圧縮ダイナミクスを分析するために、複数の層および異なる学習段階で逆方向モデルを訓練する。
• MNIST および他の画像データセットに本手法を適用し、通常の学習と過学習状態の学習を比較する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおいて、特定の中間表現にマッピングされる入力の分布をどのように可視化できるか？
• RQ2 ReLU畳み込みネットワークの学習過程において、入力と隠れ表現との間の相互情報量はどの程度変化するか？
• RQ3 アーキテクチャの選択と学習体制は、深層ネットワークにおける不変性と情報圧縮にどのように影響するか？
• RQ4 非パラメトリック法や最適化に基づく手法と比較して、自己回帰的密度モデルは相互情報量の推定においてより正確かつスケーラブルであると期待できるか？

主な発見

• 入力と中間表現との間の相互情報量は、訓練過程において当初は増加し、その後減少する傾向を示しており、情報ボトルネック理論が予測する拡張段階と圧縮段階と一致する。
• 本手法は、ReLU畳み込みネットワークにおける情報ボトルネックダイナミクスを再現し、近年の「このようなモデルでは圧縮が発生しない」との主張を反証する。
• 100件の例えでの過学習ネットワークでは、相互情報量の下界が著しく高くなることから、圧縮は一般化性能と関連している可能性が示唆される。
• 逆方向モデルは、中間特徴量に条件付けられた多様で現実的なサンプルを生成でき、ネットワークが学習した不変性（例えば、平行移動やスケーリングへの耐性）を明らかにする。
• 自己回帰的密度モデルは、高次元設定において非パラメトリック法や敵対的手法を上回る安定的でスケーラブルかつ正確な相互情報量推定を実現する。
• 本手法により、特定の表現を活性化する入力の種類を可視化することで、点推定再構成の範囲を越えたアーキテクチャ選択の解釈可能性が可能になる。