[論文レビュー] Rethinking Evaluation Protocols of Visual Representations Learned via Self-supervised Learning

Jun Ho Lee, Do‐Young Yoon+3 more|arXiv (Cornell University)|Apr 7, 2023

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

この論文は、自己教師あり視覚表現の標準的評価プロトコルにおける深刻な欠陥を特定し、線形プローブ（LP）とトランスファーラーニング（TL）の性能が、入力正規化やSSL重み減衰などのハイパーパrameterに極めて敏感であることを示している。著者らは、LPの前にバッチ正規化を適用し、最適なSSL重み減衰（0.04 → 0.2）を用いることで、評価の安定性とトランスファー可能性が著しく向上することを実証しており、現在のメトリクスが現実のトランスファー性能に影響を与える隠れたハイパーパrameter依存性を検出できないことが明らかになった。

ABSTRACT

Linear probing (LP) (and $k$-NN) on the upstream dataset with labels (e.g., ImageNet) and transfer learning (TL) to various downstream datasets are commonly employed to evaluate the quality of visual representations learned via self-supervised learning (SSL). Although existing SSL methods have shown good performances under those evaluation protocols, we observe that the performances are very sensitive to the hyperparameters involved in LP and TL. We argue that this is an undesirable behavior since truly generic representations should be easily adapted to any other visual recognition task, i.e., the learned representations should be robust to the settings of LP and TL hyperparameters. In this work, we try to figure out the cause of performance sensitivity by conducting extensive experiments with state-of-the-art SSL methods. First, we find that input normalization for LP is crucial to eliminate performance variations according to the hyperparameters. Specifically, batch normalization before feeding inputs to a linear classifier considerably improves the stability of evaluation, and also resolves inconsistency of $k$-NN and LP metrics. Second, for TL, we demonstrate that a weight decay parameter in SSL significantly affects the transferability of learned representations, which cannot be identified by LP or $k$-NN evaluations on the upstream dataset. We believe that the findings of this study will be beneficial for the community by drawing attention to the shortcomings in the current SSL evaluation schemes and underscoring the need to reconsider them.

研究の動機と目的

• 線形プローブ（LP）とトランスファーラーニング（TL）評価が、同じSSLモデルを使用してもハイパーパrameterの設定によって顕著に異なる理由を解明すること。
• 現在の評価プロトコルに見過ごされている要因を同定し、性能測定の不一致や不安定さを引き起こしていること。
• 入力正規化とSSL重み減衰が、評価の信頼性に影響を与える重要な隠れたハイパーパrameterであることを実証すること。
• 学習済み表現の堅牢性と一般化可能性を保証するため、標準的なSSL評価方式の再評価を提唱すること。

提案手法

• LPおよびTLプロトコルの両方において、多様なハイパーパrameter設定を用いて最先端のSSLモデルを広範囲に渡ってクロス評価する。
• LPにおける線形分類器の前段にバッチ正規化を適用し、性能の安定性およびk-NNメトリクスとの整合性に与える影響を評価する。
• SSL事前学習中に重み減衰ハイパーパラメータを体系的に変化させ、その下流でのTL性能および収束への影響を分析する。
• 2次元可視化を用いて損失関数の形状を可視化し、異なるSSL重み減衰設定における一般化行動の差を比較する。
• 特徴再利用性とトランスファー可能性を測定するために、中心化カーネル整合性（CKA）を用いる。
• 異なるSSL重み減衰値で訓練されたモデル間で、検証損失曲線、損失関数の形状、CKAスコアを比較し、堅牢性およびトランスファー可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 同じSSLモデルを使用しても、なぜ線形プローブ性能がハイパーパラメータ設定によって顕著に異なるのか？
• RQ2 特に線形ヘッドの前段にバッチ正規化を適用することで、LPおよびk-NN評価メトリクスの安定性はどの程度向上するのか？
• RQ3 SSL事前学習時に使用される重み減衰ハイパーパラメータは、トランスファーラーニング性能およびハイパーパラメータの感受性にどのように影響するのか？
• RQ4 損失関数の形状分析は、通常の学習曲線では見えない一般化性および堅牢性の差を明らかにできるか？
• RQ5 CKAで測定した特徴再利用性は、異なるSSL重み減衰設定におけるトランスファー可能性の向上と相関しているか？

主な発見

• LPにおける線形分類器の前段にバッチ正規化を適用することで、ハイパーパラメータ設定に依存しない性能の安定が得られ、LPとk-NN評価メトリクスの不整合が解消される。
• SSL重み減衰ハイパーパラメータは、下流タスクにおけるトランスファー可能性に顕著な影響を及ぼし、0.04 → 0.2の値が最も堅牢で一般化可能な表現を生成することが判明した。
• 0.04 → 0.2のSSL重み減衰で学習されたモデルは、より平坦な損失関数の形状を示し、下流のハイパーパラメータ選択に対して優れた一般化性と堅牢性を示している。
• CKA分析により、0.04 → 0.2の重み減衰で事前学習されたモデルは、微調整後の初期〜中位のViTブロックで、特徴の再利用性が顕著に高いことが確認された。
• 検証損失曲線は類似しているものの、0.04 → 0.4の高いSSL重み減衰で学習されたモデルは収束が速いが、トランスファー性能は劣るため、収束速度そのものがトランスファー能力の妥当な代理指標ではないことが示された。
• 本研究は、標準的な評価プロトコル（LPおよびk-NN）が、SSL重み減衰が下流性能に与える影響を検出できないことが明らかになった。これは、現在の評価スキームに深刻な欠陥が存在することを暴露している。