[論文レビュー] On the Origins of the Block Structure Phenomenon in Neural Network Representations

Thao D. Nguyen, Maithra Raghu+1 more|arXiv (Cornell University)|Feb 15, 2022

Neural Networks and Applications被引用数 6

ひとこと要約

この論文は、深層ニューラルネットワークの表現におけるブロック構造が、背景色が類似した画像など、単一の主要なデータポイントの集合によって生じることを特定している。これらのデータポイントは、連続する層にわたって非常に類似した、高分散の第一主成分を誘発する。ランダムシードに依存して変化するが、これらの主要なデータポイントがブロック構造を生じさせており、主成分正則化やShake-Shakeのような訓練手法によって、性能に悪影響を及げることなくブロック構造を除去できる。

ABSTRACT

Recent work has uncovered a striking phenomenon in large-capacity neural networks: they contain blocks of contiguous hidden layers with highly similar representations. This block structure has two seemingly contradictory properties: on the one hand, its constituent layers exhibit highly similar dominant first principal components (PCs), but on the other hand, their representations, and their common first PC, are highly dissimilar across different random seeds. Our work seeks to reconcile these discrepant properties by investigating the origin of the block structure in relation to the data and training methods. By analyzing properties of the dominant PCs, we find that the block structure arises from dominant datapoints - a small group of examples that share similar image statistics (e.g. background color). However, the set of dominant datapoints, and the precise shared image statistic, can vary across random seeds. Thus, the block structure reflects meaningful dataset statistics, but is simultaneously unique to each model. Through studying hidden layer activations and creating synthetic datapoints, we demonstrate that these simple image statistics dominate the representational geometry of the layers inside the block structure. We explore how the phenomenon evolves through training, finding that the block structure takes shape early in training, but the underlying representations and the corresponding dominant datapoints continue to change substantially. Finally, we study the interplay between the block structure and different training mechanisms, introducing a targeted intervention to eliminate the block structure, as well as examining the effects of pretraining and Shake-Shake regularization.

研究の動機と目的

• モデル間で一貫している一方でランダムシードごとに著しく異なるブロック構造の矛盾を解消すること。
• ブロック構造が意味のあるデータセット統計を反映しているのか、あるいは誤った過学習に起因しているのかを調査すること。
• ブロック構造現象を生じさせる背後にあるデータおよび訓練要因を同定すること。
• ブロック構造を標的介入によって制御または削除できるかどうかを評価すること。
• 訓練の過程および異なるアーキテクチャや訓練制度において、ブロック構造と主要なデータポイントの進化を検討すること。

提案手法

• 隠れ層表現間の類似性を測定し、ブロック構造を同定するために線形中心化カーネル整合性（CKA）を用いた。
• 各層の表現の第一主成分（PC）が説明する分散の割合を推定するためにパワー反復法を適用した。
• ブロック構造を持つ層の第一PCに最も寄与する訓練例を分析することで、主要なデータポイントを同定した。
• 主要なデータポイントの共有された画像統計（例：背景色）に基づいて合成データポイントを生成し、活性化ノルムへの影響を検証した。
• 訓練中に第一主成分の分散を抑制する主成分正則化を導入し、ブロック構造の抑制を図った。
• Shake-Shake正則化、転移学習、バッチサイズといった訓練手法がブロック構造の出現と表現の一貫性に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 モデル間で一貫している一方でランダムシードごとに著しく異なるという矛盾を示すブロック構造の原因は何か？
• RQ2 共通の画像統計（例：背景色）を持つ主要なデータポイントが、ブロック構造の出現を引き起こしているのか？
• RQ3 ブロック構造は訓練の過程でどのように進化し、主要なデータポイントは時間経過とともに変化するのか？
• RQ4 性能を損なわせることなく、標的訓練介入によってブロック構造を除去できるのか？
• RQ5 さまざまな訓練手法（例：データオーグメンテーション、正則化、転移学習）は、ブロック構造の存在と一貫性にどのように影響するか？

主な発見

• ブロック構造は、背景色など単純な画像統計を共有する少数の主要なデータポイントによって生じており、それらが隠れ層で高い活性化ノルムを誘発する。
• 主要なデータポイントとその共有特徴はランダムシードごとに変化するため、モデル間で一貫したブロック構造が出現する一方で、その構造はランダムシードごとに著しく異なる。
• 主要なデータポイントをデータセットから除外することでブロック構造が消失し、それらが現象の因果的役割を果たしていることが確認された。
• 主要なデータポイントの共有画像統計に基づく合成例は、高い活性化ノルムを再現でき、それらが表現幾何学に与える影響が検証された。
• ブロック構造は訓練の初期段階で出現するが、時間経過とともに進化し、訓練の各段階で異なる主要なデータポイントと表現が現れる。
• 第一主成分の分散を全分散の20％に制限する主成分正則化を導入することで、ブロック構造は明確に消失し、性能の低下も生じない。さらに、低データレジームでは精度が向上した。