[論文レビュー] CO2: Consistent Contrast for Unsupervised Visual Representation Learning

Chen Wei, Huiyu Wang+2 more|arXiv (Cornell University)|Oct 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 10

ひとこと要約

CO2 は、画像のクロップ間の異種類の類似度をモデル化することで、対照学習を改善する一貫性正則化法を提案する。クエリクロップとポジティブクロップ間の類似度を偽ラベルとして扱い、クエリとポジティブ類似度の間の一貫性を強制することで、ImageNet の線形評価で MoCo のトップ1精度を 2.9% 向上させ、半教師ありおよび下流タスクにおいて一貫した向上を示した。

ABSTRACT

Contrastive learning has been adopted as a core method for unsupervised visual representation learning. Without human annotation, the common practice is to perform an instance discrimination task: Given a query image crop, this task labels crops from the same image as positives, and crops from other randomly sampled images as negatives. An important limitation of this label assignment strategy is that it can not reflect the heterogeneous similarity between the query crop and each crop from other images, taking them as equally negative, while some of them may even belong to the same semantic class as the query. To address this issue, inspired by consistency regularization in semi-supervised learning on unlabeled data, we propose Consistent Contrast (CO2), which introduces a consistency regularization term into the current contrastive learning framework. Regarding the similarity of the query crop to each crop from other images as "unlabeled", the consistency term takes the corresponding similarity of a positive crop as a pseudo label, and encourages consistency between these two similarities. Empirically, CO2 improves Momentum Contrast (MoCo) by 2.9% top-1 accuracy on ImageNet linear protocol, 3.8% and 1.1% top-5 accuracy on 1% and 10% labeled semi-supervised settings. It also transfers to image classification, object detection, and semantic segmentation on PASCAL VOC. This shows that CO2 learns better visual representations for these downstream tasks.

研究の動機と目的

• すべてのネガティブサンプルを同等に扱うインスタンス識別の限界に対処する。これは、意味的類似度が異なるにもかかわらず、すべてのネガティブサンプルが同等に扱われるためである。
• ワンホットラベルによる 'クラス衝突' 問題を軽減する。これは、異なる画像からの意味的に類似したクロップが誤ってネガティブとみなされるためである。
• 半教師あり学習にインspiredされた一貫性正則化フレームワークを導入し、クエリとネガティブクロップ間の未ラベル類似度を活用する。
• 人間によるラベルの必要性を排除することで表現品質を向上させ、分類、検出、セグメンテーションなどの下流タスクへの転移をより良くする。

提案手法

• クエリクロップとポジティブクロップ間の類似度を、クエリと他のクロップ間の類似度に対する偽ラベルとして扱う。
• クエリとそのポジティブクロップが同じネガティブクロップと比較する際に、類似度予測が類似していることを促す一貫性正則化項を導入する。
• 標準的なインスタンス識別損失と一貫性正則化項を組み合わせた共同目的関数を定式化し、仮想のソフトラベルを生成する。
• トレーニング中にポジティブ類似度予測の一貫性を向上させるためにモーメンタムエンコーダーを用いる。
• モデル自身の予測がより強固な表現の学習を導く自己教師ありでブートストラップ的な方法でモデルを訓練する。
• データオーグメンテーションを適用してポジティブおよびネガティブクロップを生成し、MoCo などの既存の対照学習フレームワークと互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 一貫性正則化を用いることで、画像クロップ間の異種類類似度をモデル化することにより、自己教師あり対照学習が向上するか？
• RQ2 ポジティブクロップ類似度を偽ラベルとして扱うことで、標準的なワンホットインスタンス識別と比較して表現品質がどのように変化するか？
• RQ3 CO2 は対照学習における 'クラス衝突' の悪影響をどの程度軽減するか？
• RQ4 提案手法は、線形プローブ、半教師あり学習、および下流タスクを含むさまざまな評価プロトコルに一般化可能か？
• RQ5 一貫性正則化は、従来は完全に教師ありと見なされてきた自己教師ありの事前学習タスクに効果的に適用可能か？

主な発見

• CO2 は ImageNet の線形分類プロトコルにおいて MoCo のトップ1精度を 2.9% 向上させ、自己教師あり表現学習における顕著な向上を示した。
• 1% のラベル付き半教師あり学習設定では、CO2 は MoCo よりトップ5精度で 3.8% 向上させ、低ラベル量下でも優れた一般化性能を示した。
• 10% のラベル付き半教師あり学習設定では、CO2 は MoCo よりトップ5精度で 1.1% 向上させ、データ量の異なる環境でも一貫した改善を示した。
• CO2 は下流タスクへの転移性能が優れており、PASCAL VOC の画像分類、オブジェクト検出、セマンティックセグメンテーションのベンチマークで MoCo を上回った。
• 一貫性正則化項は、意味的に類似しているが誤ってネガティブとラベル付けされたサンプルの影響を効果的に低減させ、特徴空間のクラスタリングを改善した。
• CO2 は MoCo などの既存の対照学習フレームワークと互換性を保ち、アーキテクチャの大規模な見直しを伴わずにプラグイン的に改善が可能である。