[論文レビュー] Do Self-Supervised and Supervised Methods Learn Similar Visual Representations?

Tom George Grigg, Dan Busbridge+2 more|arXiv (Cornell University)|Oct 1, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

この論文は、CIFAR-10 における ResNet-50 で自己教師あり（SimCLR）と教師あり学習の表現を、中心化カーネル整合性（CKA）を用いて比較している。中間層の表現は類似しているが、最終層では乖離が生じる。SimCLR は増幅不変性を学習するが、教師あり学習はクラス構造に適合する。主な洞察は、SimCLR の成功は最終層の類似性ではなく、クラスに情報を持つ中間特徴に起因するということである。

ABSTRACT

Despite the success of a number of recent techniques for visual self-supervised deep learning, there has been limited investigation into the representations that are ultimately learned. By leveraging recent advances in the comparison of neural representations, we explore in this direction by comparing a contrastive self-supervised algorithm to supervision for simple image data in a common architecture. We find that the methods learn similar intermediate representations through dissimilar means, and that the representations diverge rapidly in the final few layers. We investigate this divergence, finding that these layers strongly fit to their distinct learning objectives. We also find that the contrastive objective implicitly fits the supervised objective in intermediate layers, but that the reverse is not true. Our work particularly highlights the importance of the learned intermediate representations, and raises critical questions for auxiliary task design.

研究の動機と目的

• 自己教師あり学習と教師あり学習が、類似した視覚的表現を学習するかどうかを調査すること。
• 対照的自己教師あり学習と教師あり学習の両者において、ネットワークの深さに沿って表現がどのように、そしてなぜ乖離するかを分析すること。
• 自己教師あり学習の成功が、最終表現の構造的類似性に起因するのか、それとも共有される中間特徴に起因するのかを評価すること。
• 両手法における増幅不変性とクラス構造の暗黙的学習を調べること。

提案手法

• ResNet-50 を SimCLR（自己教師あり）と教師あり学習で訓練した際の各層における表現類似性を、中心化カーネル整合性（CKA）を用いて比較する。
• 各層におけるクラスの線形分離可能性を測定するために線形プローブを用い、下流の表現品質を評価する。
• 各層における元画像と増幅画像の表現間の CKA を計算することで、増幅不変性を測定する。
• 学習済み表現と真値のクラス単体構造との間の CKA を比較し、クラスラベルとの整合性を評価する。
• 解釈バイアスを避けるために、複数のランダムな重み初期化を用いて解の安定性を検証する。
• 奇数層と偶数層を別々に分析することで、表現学習における構造的非対称性を特定する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習と教師あり学習は、ネットワークの深さにわたり類似した視覚的表現を学習するか？
• RQ2 SimCLR と教師あり学習の表現は、最終層でどの程度乖離し、その理由は何か？
• RQ3 教師あり学習は増幅不変性を暗黙的に学習するのか、それとも SimCLR のみがこの性質を特徴づけるのか？
• RQ4 クラスに情報を持つ度合いと構造的類似性の観点から、中間特徴はどのように比較できるか？
• RQ5 SimCLR の性能は、最終層の類似性に起因するのか、それとも共有される中間特徴の学習に起因するのか？

主な発見

• 残差接続後の表現は SimCLR と教師あり学習で類似しているが、残差（ブロック内）の表現は類似していないため、最適化パスが異なることが示唆される。
• 初期の残差層の表現は類似しているため、両手法で共有される低レベルのプリミティブが学習されていることが示唆される。
• 最終層では急速に乖離が生じる：SimCLR は強い増幅不変性を学習するが、教師あり学習はクラス構造に適合する。CKA と線形プローブの精度から確認された。
• 教師あり学習は増幅不変性を暗黙的に学習しないが、SimCLR の増幅に不変であるように学習することは、クラス分離性を誘発する。
• 表現構造は最終層で急速に乖離するため、SimCLR の性能は最終層の一致ではなく、クラスに情報を持つ中間特徴に起因することが示された。
• 両手法においてクラス構造の整合性は単調に増加するが、教師あり学習では最終ブロック群で急激に上昇する。これは明示的な最適化によるものである。