[論文レビュー] RegionCL: Can Simple Region Swapping Contribute to Contrastive Learning?

Yufei Xu, Qiming Zhang+2 more|arXiv (Cornell University)|Nov 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 9

ひとこと要約

RegionCLは、交換されたペアから切り取られた（ペースト）領域と残りの（キャンバス）画像領域の両方を活用することで、追加の領域レベルの陽性および陰性の対照的ペアを生成する、画期的な対照的学習フレームワークを提案する。MoCov2、DenseCL、SimSiamといった既存の自己教師付き学習（SSL）手法にこれらの領域レベルの信号を統合することで、画像分類、物体検出、セマンティックセグメンテーションの各タスクで最先端の性能を達成し、ImageNetでは精度を2–5%向上、MS COCOではmAPを0.8–1.0向上した。

ABSTRACT

Self-supervised methods (SSL) have achieved significant success via maximizing the mutual information between two augmented views, where cropping is a popular augmentation technique. Cropped regions are widely used to construct positive pairs, while the left regions after cropping have rarely been explored in existing methods, although they together constitute the same image instance and both contribute to the description of the category. In this paper, we make the first attempt to demonstrate the importance of both regions in cropping from a complete perspective and propose a simple yet effective pretext task called Region Contrastive Learning (RegionCL). Specifically, given two different images, we randomly crop a region (called the paste view) from each image with the same size and swap them to compose two new images together with the left regions (called the canvas view), respectively. Then, contrastive pairs can be efficiently constructed according to the following simple criteria, i.e., each view is (1) positive with views augmented from the same original image and (2) negative with views augmented from other images. With minor modifications to popular SSL methods, RegionCL exploits those abundant pairs and helps the model distinguish the regions features from both canvas and paste views, therefore learning better visual representations. Experiments on ImageNet, MS COCO, and Cityscapes demonstrate that RegionCL improves MoCo v2, DenseCL, and SimSiam by large margins and achieves state-of-the-art performance on classification, detection, and segmentation tasks. The code will be available at https://github.com/Annbless/RegionCL.git.

研究の動機と目的

• 対照的自己教師付き学習における、切り取られた領域と残りの領域の両方の未開発の表現的ポ텐シャルを調査すること。
• 従来の対照的学習手法において、切り出し後に残る領域が十分に活用されていない問題を解決すること。
• インスタンスレベルと領域レベルの両方の対照的信号を活用する、単純だが効果的な事前学習タスクを提案すること。
• インスタンスレベルと領域レベルの両方で対照的教師信号を豊かにすることで、視覚表現学習を向上させること。
• 既存のSSLフレームワークへの最小限の変更で、複数の下流タスクで最先端の性能を達成すること。

提案手法

• RegionCLは、同じサイズの領域を2つの異なる画像からランダムに切り出し、それらを入れ替えて新しい合成画像（キャンバスとペーストビュー）を生成する。
• 単純な基準に基づいて対照的ペアを構築する：同じ元の画像からのビューは陽性とされ、異なる画像からのビューは陰性とされる。
• 豊富な領域レベルの陽性ペア（例：同じ画像からのキャンバスとペーストビュー）と陰性ペア（例：ある画像のキャンバスと別の画像のペースト）を生成する。
• MoCov2、DenseCL、SimSiamなどの既存のSSLフレームワークと互換性があり、領域レベルの特徴を統合するためにわずかなアーキテクチャの変更が可能である。
• 共有エンコーダーとプロジェクタを用いて領域レベルの特徴を抽出し、マスクプーリングを用いて特徴抽出中に特定の領域に注目する。
• 対照的損失、密な対応損失などの元の損失関数を維持しつつ、領域レベルで新たな陽性ペアを追加する。

実験結果

リサーチクエスチョン

• RQ1 切り出し後に残る領域は、自己教師付き表現学習に有意義に寄与できるか？
• RQ2 領域の交換を通じて切り取られた領域と残りの領域の両方を活用することで、特徴表現の質が向上するか？
• RQ3 既存のSSLフレームワークに、大きなアーキテクチャ的変更なしに、単純な領域レベルの対照的学習戦略を効果的に統合できるか？
• RQ4 領域レベルの対照的信号の導入が、分類、検出、セグメンテーションなどの下流タスクでの性能向上に寄与するか？
• RQ5 多様なビジョンタスクにわたる性能と一般化能力の観点から、RegionCLは最先端のSSL手法と比べてどのように差をつけるか？

主な発見

• RegionCLをMoCov2、DenseCL、SimSiamに適用することで、ImageNetにおける線形分類精度が2–5%向上した。
• 同じベースモデルを用いた場合、MS COCOデータセットにおける物体検出性能が0.8–1.0 mAP向上した。
• 画像分類、物体検出、セマンティックセグメンテーションの各タスクで最先端の性能を達成し、多様な下流タスクへの強い一般化能力を示した。
• 複数のバックボーンアーキテクチャとSSLフレームワークにわたり、性能向上が一貫して得られており、広範な適用可能性と頑健性を示している。
• 既存のSSL手法への最小限の変更でこれらの向上を達成しており、シンプルさと高い互換性を示している。
• アブレーションスタディにより、領域レベルの対照的信号が不可欠であることが確認され、それらを除去すると顕著な性能低下が生じた。