[論文レビュー] Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks

Linus Ericsson, Henry Gouk+1 more|arXiv (Cornell University)|Nov 22, 2021

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本論文は、自己教師ありモデルがタスク間で転移する理由を、データオーグメンテーションが学習された不変性をどのように形作るかを分析することで調査する。異なる下流タスクは相反する不変性—空間的 vs. 外観的—を要するという事実を示し、特定のオーグメンテーションに特化した表現を統合することで、多様なタスクで一貫性があり、最先端の性能を達成する手法を提案する。これは、標準的なデフォルトのオーグメンテーション戦略を上回る性能を発揮する。

ABSTRACT

Self-supervised learning is a powerful paradigm for representation learning on unlabelled images. A wealth of effective new methods based on instance matching rely on data-augmentation to drive learning, and these have reached a rough agreement on an augmentation scheme that optimises popular recognition benchmarks. However, there is strong reason to suspect that different tasks in computer vision require features to encode different (in)variances, and therefore likely require different augmentation strategies. In this paper, we measure the invariances learned by contrastive methods and confirm that they do learn invariance to the augmentations used and further show that this invariance largely transfers to related real-world changes in pose and lighting. We show that learned invariances strongly affect downstream task performance and confirm that different downstream tasks benefit from polar opposite (in)variances, leading to performance loss when the standard augmentation strategy is used. Finally, we demonstrate that a simple fusion of representations with complementary invariances ensures wide transferability to all the diverse downstream tasks considered.

研究の動機と目的

• データオーグメンテーションが学習された不変性をどのように形作るかを分析することで、自己教師ありモデルが下流タスクに一般化する理由を理解すること。
• 異なるビジョンタスクが相反する不変性（例：空間的 vs. 外観的）を要するかどうかを調査し、標準的なオーグメンテーション方式がすべてのタスクに最適であるかどうかを検証すること。
• 空間的または外観的オーグメンテーションに特化して訓練された特徴表現が、特定のタスクカテゴリにおいて汎用モデルを上回る性能を発揮するかどうかを評価すること。
• 補完的な不変性を持つ特徴を統合することで、多様な下流タスクで良好に動作するより強固な汎用特徴が得られるかどうかを調査すること。

提案手法

• 空間的スタイルまたは外観的スタイルのオーグメンテーションのみを用いて対照的自己教師ありモデル（MoCo-v2+ResNet50）を訓練し、各オーグメンテーションタイプの効果を分離する。
• 合成的および現実世界の変換（例：視点、照明、ぼかし）に対する不変性を測定することで、トレーニング時のオーグメンテーションを超えた学習不変性の一般化能力を評価する。
• 画像分類、オブジェクト検出、キーポイント推定（例：300W）など多様な下流タスクのセットを用いて特徴表現の性能を比較する。
• 空間的および外観的特化型のモデルで訓練された特徴を統合（Spa+App）し、さらにデフォルトモデルと統合（Def+Spa+App）することで、統一的かつ高性能な特徴を生成する。
• L2正則化付き線形プローブのハイパーパramータサーチを用いて、モデル間の特徴品質を公平に比較する。
• スケーラビリティとパフォーマンスのトレードオフを評価するため、統合モデルを広いResNet50(×3)ベースラインおよび3×デフォルトモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありモデルは、合成的オーグメンテーションから得た不変性を、現実世界の分布シフトに対しても一般化するか？
• RQ2 空間的不変性と外観的不変性の学習の間にトレードオフがあるか、最先端モデルがこのトレードオフを示しているか？
• RQ3 異なる下流タスクは、空間的感度や外観のロバストネスといった異なる種類の不変性に恩恵を受けるか？
• RQ4 異なる不変性に特化した特徴を統合することで、多様なタスクで一貫した高いパフォーマンスを達成できるか？

主な発見

• 空間的スタイルのオーグメンテーションで訓練されたモデルは、視点および空間的シフトに対する不変性を学習し、現実世界の視点変化に対しても一般化し、300Wキーポイント推定のような空間的感度が求められるタスクで優れた性能を発揮する。
• 外観的スタイルのオーグメンテーションで訓練されたモデルは、照明、色、ぼかしの変化に対する不変性を学習し、オブジェクトの色推定のような外観のロバストネスが求められるタスクで最良の性能を発揮する。
• 標準的なデフォルトオーグメンテーション戦略はポーズ関連タスクで性能が劣っており、認識タスクに過剰に最適化されており、空間的感度には最適でないことが示唆される。
• 空間的および外観的特化型モデルの特徴を統合（Spa+App）することで、すべてのタスクで優れたパフォーマンスが得られ、300Wでデフォルトモデルを上回る。
• 三重統合（Def+Spa+App）は最も一貫性のあるパフォーマンスを発揮し、ポーズ推定では広い3×ResNet50(×3)モデルでさえも上回り、分類タスクでも高い正確性を維持する。
• 結果から、補完的な不変性に特化した表現から得られる単一の統一特徴は、多様な下流ビジョンタスクに適した強固で汎用的な特徴であることが示された。