[論文レビュー] What Information Does a ResNet Compress?

Luke Nicholas Darlow, Amos Storkey|arXiv (Cornell University)|Mar 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 4

ひとこと要約

この論文は、実際の画像データに対する現代的なResNetアーキテクチャに情報ボトルネック（IB）原理が適用されるかを調査するもので、PixelCNN++デコーダーを用いて隠れ層と入力間の相互情報量（MI）を推定している。2段階の学習—初期にMIが増加し、その後に圧縮が生じる—が観察され、ResNetsはクラスに無関係な詳細（例：背景色、テクスチャ）を破棄する。その結果、多様ではあるが意味的に忠実なサンプルが得られ、一般化のための効果的な圧縮が視覚的に示された。

ABSTRACT

The information bottleneck principle (Shwartz-Ziv & Tishby, 2017) suggests that SGD-based training of deep neural networks results in optimally compressed hidden layers, from an information theoretic perspective. However, this claim was established on toy data. The goal of the work we present here is to test whether the information bottleneck principle is applicable to a realistic setting using a larger and deeper convolutional architecture, a ResNet model. We trained PixelCNN++ models as inverse representation decoders to measure the mutual information between hidden layers of a ResNet and input image data, when trained for (1) classification and (2) autoencoding. We find that two stages of learning happen for both training regimes, and that compression does occur, even for an autoencoder. Sampling images by conditioning on hidden layers' activations offers an intuitive visualisation to understand what a ResNets learns to forget.

研究の動機と目的

• 現代的なResNetアーキテクチャを用いた現実的で深い学習設定において、情報ボトルネック（IB）原理が成り立つかを検証すること。
• 高次元で現実世界のデータである入力画像と隠れ層間の相互情報量（MI）を推定する手法を開発すること。
• 訓練中にResNetが学習する圧縮の内容、特にクラスに無関係な特徴量を可視化すること。
• 分類とオートエンコーダーの両訓練設定におけるMIダイナミクスと表現品質を比較すること。
• 直感的な条件付き画像生成を用いて、深層ネットワークにおける圧縮の実証的証拠を提供すること。

提案手法

• 条件付きPixelCNN++モデルを逆デコーダーとして用い、ResNetの隠れ層と入力画像間の相互情報量（MI）の下界を推定する。
• 特定のResNet層（例：h₃, h₄）の活性化に条件づけて画像生成を行うようにPixelCNN++を学習させ、保持された情報の可視化を可能にする。
• 分類とオートエンコーディングの両設定において、訓練時間に伴うMIの変化を追跡し、学習段階を特定する。
• 訓練済みデコーダーからの条件付きサンプリングを用いて、表現の進化がどのように行われるかを示し、何が保持され、何が破棄されたかを可視化する。
• 初期化時、初期訓練時、最終重みでのMI値を比較し、圧縮の傾向を検出する。
• 情報ボトルネックフレームワークを、ImageNetに類似したデータ上で現代的で深い畳み込みネットワーク（ResNet）に適用し、従来のトロイモデル研究を拡張する。

実験結果

リサーチクエスチョン

• RQ1 現代的なResNetが実際の画像データで学習された場合、情報ボトルネック原理が現れるか？
• RQ2 分類とオートエンコーディングの両設定において、隠れ層と入力画像間の相互情報量は訓練中にどのように変化するか？
• RQ3 ResNetが学習して圧縮する情報の種別は何か—特に、どの特徴量が破棄され、どの特徴量が保持されるか？
• RQ4 隠れ層の活性化から得られる条件付き画像生成は、表現の圧縮を直感的に可視化できるか？
• RQ5 IBフレームワークが予測するように、初期にMIが増加し、その後に持続的な減少が生じる2段階の学習プロセスが存在するか？

主な発見

• 2つの明確な学習段階が観察された：隠れ層と入力データ間の相互情報量（MI）が初期に一時的に増加し、その後に長期間にわたって減少するという、圧縮を示す現象。
• 200エポック経過した時点で、第3ResNet層（h₃）と入力画像間の相互情報量が顕著に減少した。これは、隠れ表現における圧縮が確認されたことを示している。
• 最終段階の活性化（例：200エポック）から生成された条件付きサンプルは、クラスアイデンティティを保持しながらも多様性が高まっており、背景色やテクスチャといったクラスに無関係な特徴量の有効な抑制を示している。
• 初期化時でさえ、ランダムな重みでも入力情報が十分に伝わっており、識別可能ではあるが品質の低いサンプルが生成された。これは初期表現が完全にランダムまたは無構造的ではないことを示している。
• ネットワークはフォアグラウンドおよびバックグラウンドの色に関する部分的不変性を学習した：特定の色が破棄され、多様だが意味的に一貫したサンプル（例：空や草の色が異なる馬）が得られた。
• PixelCNN++デコーダー枠組みは、圧縮された表現の質を効果的に可視化できた。圧縮された特徴量はタスクに必要な構造を保持している一方で、ノイズや不要な詳細を破棄していることが明らかになった。