[論文レビュー] Crafting Better Contrastive Views for Siamese Representation Learning

Xiangyu Peng, Kai Wang+3 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本論文は、意味的に意味のあるかつ多様な画像クロップを生成することで、シアンプルス型対照的表現学習を向上させる、プラグアンドプレイ型モジュールであるContrastiveCropを提案する。意味的感度のあるオブジェクト検出を用いて誤検出（オブジェクト対背景）を回避し、センター抑制型サンプリングによりクロップのばらつきを増加させることで、CIFAR-10、CIFAR-100、Tiny ImageNet、STL-10において0.4%〜2.0%の精度向上を達成し、下流の検出およびセグメンテーションタスクのためのImageNet-1K事前学習でも一貫した向上を示した。

ABSTRACT

Recent self-supervised contrastive learning methods greatly benefit from the Siamese structure that aims at minimizing distances between positive pairs. For high performance Siamese representation learning, one of the keys is to design good contrastive pairs. Most previous works simply apply random sampling to make different crops of the same image, which overlooks the semantic information that may degrade the quality of views. In this work, we propose ContrastiveCrop, which could effectively generate better crops for Siamese representation learning. Firstly, a semantic-aware object localization strategy is proposed within the training process in a fully unsupervised manner. This guides us to generate contrastive views which could avoid most false positives (i.e., object vs. background). Moreover, we empirically find that views with similar appearances are trivial for the Siamese model training. Thus, a center-suppressed sampling is further designed to enlarge the variance of crops. Remarkably, our method takes a careful consideration of positive pairs for contrastive learning with negligible extra training overhead. As a plug-and-play and framework-agnostic module, ContrastiveCrop consistently improves SimCLR, MoCo, BYOL, SimSiam by 0.4% ~ 2.0% classification accuracy on CIFAR-10, CIFAR-100, Tiny ImageNet and STL-10. Superior results are also achieved on downstream detection and segmentation tasks when pre-trained on ImageNet-1K.

研究の動機と目的

• ランダムクロッピングの制限を是正すること、これはしばしば誤検出（例：オブジェクト対背景）や自明で類似度の高いビューを生じさせる。
• クロップサンプリングに意味的コンテンツと多様性を組み込むことで、シアンプルス表現学習におけるポジティブペアの質を向上させること。
• アーキテクチャの変更なしに既存の対照的手法を強化できる、フレームワークに依存しない低オーバーヘッドのモジュールを設計すること。
• より良いクロップ設計が複数のデータセットおよび下流タスクにおいてより判別性の高い表現をもたらすという、実証的検証を行うこと。

提案手法

• 対照的学習中に完全に自己教師ありで訓練された意味的感度のあるオブジェクト検出戦略を導入し、オブジェクト領域内でのクロップサンプリングをガイドする。
• α < 1 のベータ分布を用いたセンター抑制型サンプリングを適用し、中心部に位置する類似度が極めて高いクロップの選択確率を低下させる。
• 意味的検出とばらつきに配慮したサンプリングを組み合わせることで、意味的に意味のあるかつ多様な対照的ビューを生成する。
• バックボーンや対照的損失を変更せずに、クロップ生成モジュールをシアンプルスネットワークに統合する微分可能でエンドツーエンドの訓練プロセスを採用する。
• SimCLRやBYOL/SimSiamのように、負例を用いるか否かにかかわらず互換性を持つプラグアンドプレイ型設計を採用する。
• ContrastiveCropと併用することで、標準的なデータ拡張（例：カラージッター、ぼかし）が直交的かつ補完的な利得を示す。

(a)

実験結果

リサーチクエスチョン

• RQ1 意味的感度のあるクロップ検出は、対照的学習における誤検出信号（例：オブジェクト対背景）を低減できるか？
• RQ2 ポジティブクロップ間のばらつきを増加させることで、表現学習性能が向上するか？
• RQ3 ContrastiveCropのような単純でフレームワークに依存しないモジュールが、多様な対照的学習手法において一貫して性能向上をもたらせるか？
• RQ4 β分布で制御されるクロップサンプリングのばらつきが、下流の転移精度にどのように影響するか？
• RQ5 ImageNet-1Kで事前学習した場合、ContrastiveCropは下流の検出およびセグメンテーションタスクでどの程度性能を向上させるか？

主な発見

• SimCLR、MoCo、BYOL、SimSiamを用いた場合、CIFAR-10、CIFAR-100、Tiny ImageNet、STL-10の各データセットで、分類精度が0.4%〜2.0%向上した。
• ImageNet-1K事前学習において、ContrastiveCropはMoCo V1ベースラインと比較して、PASCAL VOCオブジェクト検出で+0.2AP、+0.2AP50、+0.4AP75の向上を達成した。
• COCOでは、オブジェクト検出およびインスタンスセグメンテーションの両方で優れた性能を示し、全指標で一貫した向上を示した。
• α < 1 のセンター抑制型サンプリングは、一様サンプリングやα > 1 の場合を常に上回り、クロップのばらつきが高いほど学習が向上することを確認した。
• MoCo V2スタイルの拡張（フリップ、カラージッター、グレースケール、ぼかし）と組み合わせた場合、RandomCropと比較して1.2%の精度ギャップを達成し、直交的かつ加法的な利得を示した。
• アブレーションスタディにより、ContrastiveCrop単体でもRandomCropに比べて0.4%の精度向上を示し、データ拡張を超えた内在的優位性を裏付けた。

(b)