[論文レビュー] Is Self-Supervised Learning More Robust Than Supervised Learning?

Yuanyi Zhong, Haoran Tang+3 more|arXiv (Cornell University)|Jun 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本稿では、自己教師付き対照学習（CL）が、さまざまなデータ分布の破損に対して教師あり学習（SL）よりもより頑健であるかどうかを調査している。複数のモデルとデータセットを用い、ピクセルレベルのガンマ歪みからデータセットレベルの分布シフトまで、多段階の破損を検証した結果、CLは下流のデータ破損に対して一貫して頑健である一方で、パッチシャッフルや強度変更といった事前学習データの破損に対しては、SLより劣る。主な洞察として、CLは特徴の均一性と安定性を維持しており、これが下流の頑健性向上と相関している。これに基づき、精度を損なわずにSLの頑健性を向上させる均一性正則化手法が提案された。

ABSTRACT

Self-supervised contrastive learning is a powerful tool to learn visual representation without labels. Prior work has primarily focused on evaluating the recognition accuracy of various pre-training algorithms, but has overlooked other behavioral aspects. In addition to accuracy, distributional robustness plays a critical role in the reliability of machine learning models. We design and conduct a series of robustness tests to quantify the behavioral differences between contrastive learning and supervised learning to downstream or pre-training data distribution changes. These tests leverage data corruptions at multiple levels, ranging from pixel-level gamma distortion to patch-level shuffling and to dataset-level distribution shift. Our tests unveil intriguing robustness behaviors of contrastive and supervised learning. On the one hand, under downstream corruptions, we generally observe that contrastive learning is surprisingly more robust than supervised learning. On the other hand, under pre-training corruptions, we find contrastive learning vulnerable to patch shuffling and pixel intensity change, yet less sensitive to dataset-level distribution change. We attempt to explain these results through the role of data augmentation and feature space properties. Our insight has implications in improving the downstream robustness of supervised learning.

研究の動機と目的

• データ分布のシフトに対する精度以外の観点から、自己教師付き対照学習（CL）と教師あり学習（SL）の頑健性を評価し、データ分布の変化下での行動的差異を明らかにすること。
• CLが精度において優れる理由が、現実世界のデータ破損（ピクセルレベル、パッチレベル、データセットレベルの歪みを含む）に対しても同様に頑健であるかどうかを調査すること。
• データ拡張と特徴空間の性質が、CLとSLの間で観察される頑健性の差を説明する役割を果たすかを分析すること。
• CLの特徴空間の性質を模倣することで、教師あり事前学習の下流の頑健性を向上させる均一性正則化技術を開発・検証すること。
• 事前学習と下流の破損シナリオにおけるCLとSLの行動的乖離を実証的に解明し、モデル設計およびトレーニングへのインプリケーションを提供すること。

提案手法

• ピクセルレベルのガンマ歪み、パッチレベルのシャッフル、データセットレベルの分布シフト（例：クラス不均衡、GAN生成データ）を含む、多様なデータ破損を用いた包括的な頑健性評価を実施。
• 複数のCLアルゴリズム（SimCLR, MoCo, SimSiam, BYOL, BarlowTwins, SwAV, DINO）と教師あり学習を、多様なバックボーン（ResNet, ViT）およびデータセット（CIFAR, ImageNet, STL-10, Cars, Aircrafts）を用いて適用。
• トレーニング中の特徴空間ダイナミクスを、クラス内特徴の均一性とクラス間距離のメトリクスを用いて測定し、学習行動の差を分析。
• CLの安定的かつ均一な特徴分布を模倣するように、教師あり事前学習に均一性正則化項を導入。この正則化項により、クラス内特徴分散が高められる。
• データ破損と拡張の手順を入れ替えることで、ランダムクロップ拡張の干渉がパッチレベルの破損に対するCLの脆弱性の主な原因であるという仮説を検証。
• KNNプローブを用いた評価と、さまざまな破損下での精度低下（Δ）の追跡により、CLとSLの間の頑健性差を定量的に評価。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き対照学習（CL）は、ピクセルレベルの歪みやパッチシャッフルなどの下流データ破損に対して、教師あり学習（SL）よりも頑健であるか？
• RQ2 パッチシャッフルや強度変更などの事前学習データの破損が、対照学習と教師あり学習のモデルの頑健性に与える影響は何か？
• RQ3 対照学習の特徴空間の均一性と安定性が、教師あり学習と比較して優れた下流の頑健性を説明できるか？
• RQ4 教師あり学習における均一性正則化により、クリーンな精度を損なわずにテスト時データ破損に対する頑健性を向上させられるか？
• RQ5 特にパッチシャッフルに対して、データ拡張の順序が対照学習の頑健性に果たす役割は何か？

主な発見

• 対照学習（CL）は、下流のデータ破損に対して一貫して教師あり学習（SL）よりも頑健であり、全テスト破損タイプとデータセットで、精度低下（Δ）が顕著に低いことが確認された。
• 事前学習の破損においては、対照学習がデータセットレベルの分布シフト（例：GAN生成データ、クラス不均衡）に対して、教師あり学習よりも劣化が小さいという点で、より頑健であった。
• しかし、ピクセルレベルの強度変更やパッチレベルのシャッフルを含む事前学習の破損に対しては、CLはSLよりも劣るという結果となり、破損のレベルに応じた頑健性行動の根本的乖離が示された。
• 特徴空間の分析から、CLはSLと比較して、より高い一貫したクラス内特徴の均一性と、低いクラス内分散の圧縮を維持していることが明らかになった。一方、SLは特徴の過剰圧縮を示す傾向にあった。
• 教師あり事前学習に均一性正則化項を導入することで、特徴空間の均一性が向上し、下流の頑健性が向上した。特に、G4x4破損下ではKNN精度が44.34%に向上した一方で、クリーンな精度は94.21%を維持した。
• データ破損と拡張の手順を入れ替えることで、対照学習の頑健性が顕著に回復した。これは、ランダムクロップ拡張の干渉がパッチレベルの破損に対する脆弱性の主な要因であるという仮説を支持する結果であった。