[論文レビュー] Do Wide and Deep Networks Learn the Same Things? Uncovering How Neural Network Representations Vary with Width and Depth

Thao Nguyen, Maithra Raghu+1 more|arXiv (Cornell University)|May 3, 2021

Adversarial Robustness in Machine Learning参考文献 45被引用数 91

ひとこと要約

この論文は、幅と深さがニューラルネットワークの表現にどのように影響するかを調査し、高容量モデルの隠れ表現に特徴的なブロック構造が存在することを明らかにした。ブロック構造は、モデル容量が訓練データサイズを上回った際に出現し、主要な主成分が保持されることを反映しており、類似した全体的な精度とブロック外の共有特徴があるにもかかわらず、アーキテクチャ間で独自の表現を生じさせている。

ABSTRACT

A key factor in the success of deep neural networks is the ability to scale models to improve performance by varying the architecture depth and width. This simple property of neural network design has resulted in highly effective architectures for a variety of tasks. Nevertheless, there is limited understanding of effects of depth and width on the learned representations. In this paper, we study this fundamental question. We begin by investigating how varying depth and width affects model hidden representations, finding a characteristic block structure in the hidden representations of larger capacity (wider or deeper) models. We demonstrate that this block structure arises when model capacity is large relative to the size of the training set, and is indicative of the underlying layers preserving and propagating the dominant principal component of their representations. This discovery has important ramifications for features learned by different models, namely, representations outside the block structure are often similar across architectures with varying widths and depths, but the block structure is unique to each model. We analyze the output predictions of different model architectures, finding that even when the overall accuracy is similar, wide and deep models exhibit distinctive error patterns and variations across classes.

研究の動機と目的

• ネットワークの深さと幅を変化させた場合、ニューラルネットワークの学習表現にどのような影響を与えるかを理解すること。
• 類似した性能を示すワイドモデルとディープモデルが、同じような特徴を学習するのか、それとも異なる特徴を学習するのかを調査すること。
• モデル容量が増加することで現れる、隠れ表現における構造的パターンを同定すること。
• ワイドモデルとディープモデルの間で、予測誤差やクラスレベルの差異を分析することにより、一般化の違いを評価すること。

提案手法

• 標準データセットで訓練されたディープでワイドなニューラルネットワークの隠れ表現を分析すること。
• 主成分分析（PCA）を用いて、層をまたいで保持される主要な成分を同定すること。
• 層が深さにわたり共通の主成分を維持する構造として、表現にブロック構造を検出すること。
• 精度を一定に保ちながら、幅と深さが異なるモデル間での表現と予測を比較すること。
• モデル出力における誤差パターンとクラスごとの差異を測定し、一般化の違いを評価すること。

実験結果

リサーチクエスチョン

• RQ1 幅と深さは、ニューラルネットワークの学習表現の構造にどのように影響するか？
• RQ2 モデル容量が訓練データサイズを上回った場合、隠れ表現にどのような構造的パターンが現れるか？
• RQ3 ワイドモデルとディープモデルは、学習した特徴をどれだけ共有するか、あるいはどのように異なるか？
• RQ4 類似した精度を持つワイドモデルとディープモデルの間で、クラスごとの予測誤差はどのように変化するか？

主な発見

• 高容量モデルの隠れ表現にブロック構造が出現し、主要な主成分が層をまたいで保持・伝達されていることが示された。
• ブロック構造は、モデル容量が訓練データサイズに対して大きい場合に現れ、容量に起因する表現現象であると示唆された。
• ブロック構造外の表現はワイドモデルとディープモデルで類似しており、非主要成分における共通の特徴学習を示している。
• ブロック構造は各モデルアーキテクチャ固有であるため、類似した精度であってもワイドモデルとディープモデルは異なる表現を学習していることが示された。
• 全体的な精度が類似しているにもかかわらず、ワイドモデルとディープモデルは特徴的な誤差パターンとクラスごとの差異を示しており、異なるインダクティブバイアスを示している。