[論文レビュー] Boosting Contrastive Self-Supervised Learning with False Negative Cancellation

Tri Huynh, Simon Kornblith+3 more|arXiv (Cornell University)|Nov 23, 2020

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本論文は、同一意味的クラスに属するペairが誤ってネガティブペアとして扱われる「偽陰性」を特定・軽減することで、対照的自己教師あり学習を向上させるFalse Negative Cancellation (FNC)を提案する。ImageNet上で約40%の精度でラベルなしで偽陰性を検出するシンプルな手法を用い、排除と吸引の戦略を適用することで、1%の教師あり設定において、先行SOTAより5.8%の絶対的トップ1精度向上を達成し、計算コストの増加は無視できるほど小さい。

ABSTRACT

Self-supervised representation learning has made significant leaps fueled by progress in contrastive learning, which seeks to learn transformations that embed positive input pairs nearby, while pushing negative pairs far apart. While positive pairs can be generated reliably (e.g., as different views of the same image), it is difficult to accurately establish negative pairs, defined as samples from different images regardless of their semantic content or visual features. A fundamental problem in contrastive learning is mitigating the effects of false negatives. Contrasting false negatives induces two critical issues in representation learning: discarding semantic information and slow convergence. In this paper, we propose novel approaches to identify false negatives, as well as two strategies to mitigate their effect, i.e. false negative elimination and attraction, while systematically performing rigorous evaluations to study this problem in detail. Our method exhibits consistent improvements over existing contrastive learning-based methods. Without labels, we identify false negatives with 40% accuracy among 1000 semantic classes on ImageNet, and achieve 5.8% absolute improvement in top-1 accuracy over the previous state-of-the-art when finetuning with 1% labels. Our code is available at https://github.com/google-research/fnc.

研究の動機と目的

• 対照的自己教師あり学習における根本的問題である、同一意味的クラスに属するペアがネガティブペアとして扱われる偽陰性の問題を解消すること。
• 意味的アノテーションに依存せずに、対照的学習における偽陰性を特定するラベルフリーの手法を開発すること。
• 偽陰性の影響を軽減する2つの戦略—偽陰性の排除と吸引—を提案・評価すること。
• 線形評価、半教師あり学習、および下流の転移タスクを含む、複数のベンチマークで一貫した性能向上を示すこと。

提案手法

• ラベルを必要とせず、アーキテクチャと候補サンプル間の特徴類似度を用いて、潜在的な偽陰性を特定するスコアベースの手法を提案する。
• 各ネガティブサンプルの信頼度スコアを計算するために、最大値集約戦略を採用し、偽陰性である可能性の高いものをフィルタリングする。
• 2つの緩和戦略を導入する：(1) 偽陰性の排除—対照的損失から問題となるネガティブペアを削除する戦略、(2) 偽陰性の吸引—このようなペアを積極的に近づける戦略。
• しきい値ベースのフィルタリング機構（しきい値 = 0.7）とtop-k選択（k=10）を用い、高信頼度の偽陰性に焦点を当てる。
• 計算コストの増加が最小限に抑えられるように、標準的な対照的フレームワーク（SimCLR v2およびMoCo v2）にFNC機構を統合する。
• 3層のMLPプロジェクターヘッドと、標準的なデータ増強（クロップ、カラーじっとり、ぼかし、RandAugment）を用い、LARS最適化法とコサイン学習率スケジューリングを採用する。

実験結果

リサーチクエスチョン

• RQ1 ラベルやクラス情報にアクセスできない状況下で、対照的自己教師あり学習における偽陰性をどれほど正確に特定できるか？
• RQ2 偽陰性は、対照的学習における収束速度と表現品質にどのような影響を及えるか？
• RQ3 偽陰性キャンセル戦略（排除と吸引）は、多様な評価プロトコルにおいて性能向上をもたらすか？
• RQ4 FNC戦略は、マルチクロップ訓練やモーメンタムコントラストといった既存技術とどのように相互作用するか？
• RQ5 FNCは、ImageNetの1%ラベルという低データレジームにおいて、どれほど性能を向上させ得るか？

主な発見

• ラベルなしで1,000クラスのImageNetにおいて、偽陰性を約40%の精度で特定でき、自己教師あり設定下での偽陰性検出の可能性を示した。
• 線形評価では、ImageNetでトップ1精度74.4%を達成し、SimCLR v2より2.7%向上、かつ対照的手法における先行SOTAより1.4%向上した。
• 1%のラベルのみを用いた半教師あり設定では、トップ1精度63.7%を達成し、先行SOTAより5.8%の絶対的向上を示した。
• FNCはマルチクロップ増強と組み合わせると非常に効果的であり、ベースラインのマルチクロップと比較して精度向上を2倍（4%の向上）にまで拡大し、追加計算コストは無視できるほど小さい。
• 12の下流分類ベンチマークにおいて、線形評価ではSimCLR v1およびv2を除くすべてのデータセットでFNCベースのモデルが優れている。また、微調整ではBYOLを同等以上に上回った。
• Pascal VOCオブジェクト検出タスクでは、FNCモデルはMoCo v2、SwAV、さらには教師ありベースラインをも上回り、学習された特徴の優れた転送性を示した。