[論文レビュー] Self-supervised Pre-training with Hard Examples Improves Visual Representations

Chunyuan Li, Xiujun Li+4 more|arXiv (Cornell University)|Dec 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 16

ひとこと要約

本稿では、敵対的訓練とCutMixを用いて困難な増幅例を生成することで、より挑戦的な疑似ラベル予測タスクを創出することにより、視覚表現を向上させる自己教師付き事前学習フレームワークを提案する。得られたモデル、Hexa_MoCoおよびHexa_DClusterは、ImageNetおよび下流ベンチマークで最先端の性能を達成し、特に低監視設定下で顕著な向上を示しており、困難な例が自己教師付き学習における汎化性能を向上させることを示している。

ABSTRACT

Self-supervised pre-training (SSP) employs random image transformations to generate training data for visual representation learning. In this paper, we first present a modeling framework that unifies existing SSP methods as learning to predict pseudo-labels. Then, we propose new data augmentation methods of generating training examples whose pseudo-labels are harder to predict than those generated via random image transformations. Specifically, we use adversarial training and CutMix to create hard examples (HEXA) to be used as augmented views for MoCo-v2 and DeepCluster-v2, leading to two variants HEXA_{MoCo} and HEXA_{DCluster}, respectively. In our experiments, we pre-train models on ImageNet and evaluate them on multiple public benchmarks. Our evaluation shows that the two new algorithm variants outperform their original counterparts, and achieve new state-of-the-art on a wide range of tasks where limited task supervision is available for fine-tuning. These results verify that hard examples are instrumental in improving the generalization of the pre-trained models.

研究の動機と目的

• ランダムなデータ増幅を超えて、より挑戦的なトレーニング例を生成することにより、自己教師付き視覚表現学習を改善すること。
• 従来の手法がデータ増幅を事前学習タスクに対して無関係に扱うというギャップを是正し、増幅を学習目的に明示的に適合させること。
• 疑似ラベルの予測が難しい（困難な）例が、事前学習モデルの汎化性能を向上させることを検証すること。
• 疑似ラベル分類としての自己教師付き事前学習の統一フレームワークを構築し、困難な例の体系的生成を可能とすること。
• 対照的学習およびプロトタイプベース学習を含む、多様な自己教師付き学習手法において、困難な例の有効性を実証すること。

提案手法

• 本稿では、自己教師付き事前学習を、データ増幅から導出された疑似ラベルを予測するタスクとして定式化する。
• 困難な例は、モデルの予測能力を試すように入力画像を摂動させる敵対的訓練を用いて生成する。
• CutMixを適用して、異なる画像からのパッチを貼り合わせることで、混合クロップ画像を生成し、意味的に曖昧な例を生み出す。
• このフレームワークは、MoCo-v2（対照的学習）およびDeepCluster-v2（プロトタイプ学習）の2つの既存手法に統合され、Hexa_MoCoおよびHexa_DClusterが得られる。
• 提案手法は標準のバックボーンネットワークおよびプロジェクションヘッドを用い、主なイノベーションはデータ増幅パイプラインにおける困難な例の使用にある。
• トレーニング目的は、対照的またはクラスタリング損失のまま変更されないが、向上した増幅ビューの品質のおかげで、より良い特徴学習が達成される。

実験結果

リサーチクエスチョン

• RQ1 意図的なデータ増幅により困難な例を生成することで、自己教師付き視覚表現の汎化性能が向上するか？
• RQ2 敵対的およびCutMixベースの困難な例は、自己教師付き事前学習における標準的なランダム増幅と比較して、どのように異なるか？
• RQ3 提案フレームワークは、対照的学習およびプロトタイプ学習のような異なる自己教師付き学習目的において、一貫して性能向上をもたらすか？
• RQ4 困難な例は、1%のImageNetラベルを用いた半教師あり学習のような低データの微調整状況で、どの程度性能を向上させるか？
• RQ5 困難な例に基づく事前学習は、下流タスクの精度において、標準的な教師あり事前学習を上回るか？

主な発見

• 8クロップ増幅を用いたHexa_DClusterは、1%のラベルデータでのImageNetでTop-1精度57.3%を達成し、800エポックで事前学習されたBYOLを上回った。
• 8クロップ増幅を用いたHexa_DCluster+は、200エポックの事前学習でImageNetで57.3%のTop-1精度に達し、同じ設定下で既存のすべての自己教師付き手法を上回った。
• VOCオブジェクト検出ベンチマークでは、Hexa_MoCoが標準的な増幅で事前学習されたMoCo-v2を上回り、下流の検出タスクにおいて一貫した向上を示した。
• 半教師あり学習において、1%のラベルを用いたHexa_DClusterは54.9%のTop-1精度を達成し、200エポックで事前学習されたSwAV（53.9% Top-1）を顕著に上回った。
• 100%のImageNetラベルで微調整した場合、Hexaは78.6%のTop-1精度を達成し、教師ありベースライン（76.5%）を2.1ポイント上回った。
• 結果から、困難な例が特に低データ環境下でモデルの汎化性能を顕著に向上させること、および提案フレームワークが異なる自己教師付き学習パラダイムに一般化可能で効果的であることが示された。