[論文レビュー] Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations

Wouter Van Gansbeke, Simon Vandenhende+2 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 34

ひとこと要約

この論文は contrastive 自己教師あり学習（MoCoベース）におけるデータセットの偏りを分析し、標準的な拡張がオブジェクト中心、シーン中心、均一または長尾分布、ドメイン特有データ間で転移することを示す；さらに表現を向上させる追加の不変性（マルチクロップ、より強力な拡張、最近傍）を導入し、マルチクロップから空間的に構造化された特徴を実証する。

ABSTRACT

Contrastive self-supervised learning has outperformed supervised pretraining on many downstream tasks like segmentation and object detection. However, current methods are still primarily applied to curated datasets like ImageNet. In this paper, we first study how biases in the dataset affect existing methods. Our results show that current contrastive approaches work surprisingly well across: (i) object- versus scene-centric, (ii) uniform versus long-tailed and (iii) general versus domain-specific datasets. Second, given the generality of the approach, we try to realize further gains with minor modifications. We show that learning additional invariances -- through the use of multi-scale cropping, stronger augmentations and nearest neighbors -- improves the representations. Finally, we observe that MoCo learns spatially structured representations when trained with a multi-crop strategy. The representations can be used for semantic segment retrieval and video instance segmentation without finetuning. Moreover, the results are on par with specialized models. We hope this work will serve as a useful study for other researchers. The code and models are available at https://github.com/wvangansbeke/Revisiting-Contrastive-SSL.

研究の動機と目的

• データセットの偏り（オブジェクト中心 vs シーン中心、均一 vs 長尾、一般的 vs ドメイン特有）が対照的自己教師あり学習にどう影響するかを評価する。
• 新しい前提タスクを用いず、シンプルでモデルに依存しない改変を用いて表現を改善する。
• アーキテクチャ/データの手掛かりが、密集タスクに有用な空間的に構造化された表現を生み出すかを調査する。
• 学習表現の転移性を、広範な下流タスクセットへ評価する。

提案手法

• MoCoを基盤とするResNet-50のバックボーンと投影ヘッドを構築する。ネガティブを提供するためにモメンタムエンコーダを含むメモリーバンクを使用する。
• 多様なデータセット（ImageNet、COCO、OpenImages、BDD100K）で事前学習を評価し、線形分類、セグメンテーション、検出、ビデオセグメンテーション、深度推定タスクへの転移を評価する。
• オブジェクト中心データとシーン中心データ、均一分布と長尾分布を比較してデータセットの偏りの影響を研究する。
• 3つの不変性強化を提案する：マルチクロップ変換、より強力な拡張、およびオンライン最近傍正例。
• 訓練効率を改善するため、制約付きマルチクロップとモメンタムを減らしたマルチクロップを導入。
• kNN-MoCoを提案： backbone特徴からの二つ目のキューを用いる最近傍補助損失で表現を正規化する。

実験結果

リサーチクエスチョン

• RQ1 MoCo風の対照的SSL法は、オブジェクト中心データセットと比較してシーン中心データセットや長尾データセットで性能が低下するか？
• RQ2 シンプルでデータセットに依存しない拡張は、カスタムドメイン事前情報なしで多様な下流タスクへ転移できるか？
• RQ3 追加の不変性（マルチクロップ、より強力な拡張、最近傍） は転移性能を改善し、ラベルなしデータで密な表現を可能にするか？
• RQ4 マルチクロップ学習はファインチューナーなしで密な予測タスクに有用な空間的に構造化された表現を生み出すか？

主な発見

• MoCoベースの事前学習は、オブジェクト中心データセットとシーン中心データセット、均一分布と長尾分布のいずれに対しても頑健に機能する。
• 事前学習時のデータ多様性を高める（COCO/OpenImages）は、ファインチューニング時にいくつかのタスクでImageNet前提結果と同等 またはそれを上回る。
• マルチクロップと制約付きマルチクロップは転移性能を著しく向上させ、ファインチューニングなしで空間的に構造化された表現を学習可能にする。
• より強力な拡張だけでは常に有効とは限らない；標準的な拡張とより強力な拡張を組み合わせるとVOCセグメンテーション性能が向上する。
• 最近傍拡張（kNN-MoCo）は線形分類転移をさらに改善し、複数のタスクで利得を維持する。
• これらの不変性を備えた最終モデルは、ビデオインスタンスセグメンテーションや意味セマンティックセグメント検索を含む複数のタスクで、専門的手法と競合するか優位な結果を達成する。