[論文レビュー] Object-aware Contrastive Learning for Debiased Scene Representation

Sangwoo Mo, Hyunwoo Kang+3 more|arXiv (Cornell University)|Jul 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 79被引用数 16

ひとこと要約

本論文は、自己教師あり表現学習におけるシーンバイアスを低減するため、対照的クラス活性化マップ（ContraCAM）を用いて無教師オブジェクト局所化を実現し、2つの新しいデータ増強法—オブジェクトに特化したランダムクロップおよびバックグラウンドミックスアップ—を導入したオブジェクトに特化した対照的学習フレームワークを提案する。この手法は、マルチオブジェクト、バックグラウンドシフト、分布シフトが生じるベンチマークにおいて一般化性能を向上させ、COCO、Background Challenge、ImageNet-Sketchで最先端の性能を達成し、顕著な精度向上を示す。

ABSTRACT

Contrastive self-supervised learning has shown impressive results in learning visual representations from unlabeled images by enforcing invariance against different data augmentations. However, the learned representations are often contextually biased to the spurious scene correlations of different objects or object and background, which may harm their generalization on the downstream tasks. To tackle the issue, we develop a novel object-aware contrastive learning framework that first (a) localizes objects in a self-supervised manner and then (b) debias scene correlations via appropriate data augmentations considering the inferred object locations. For (a), we propose the contrastive class activation map (ContraCAM), which finds the most discriminative regions (e.g., objects) in the image compared to the other images using the contrastively trained models. We further improve the ContraCAM to detect multiple objects and entire shapes via an iterative refinement procedure. For (b), we introduce two data augmentations based on ContraCAM, object-aware random crop and background mixup, which reduce contextual and background biases during contrastive self-supervised learning, respectively. Our experiments demonstrate the effectiveness of our representation learning framework, particularly when trained under multi-object images or evaluated under the background (and distribution) shifted images.

研究の動機と目的

• 対照的自己教師あり表現学習における文脈的およびバックグラウンドバイアスの問題に対処すること。具体的には、オブジェクトとシーンの間で誤った相関関係が学習されてしまうこと。
• ボックスアノテーションを用いない自己教師ありオブジェクト局所化手法を開発し、事前学習段階でのバイアス低減を可能にすること。
• 特に形状バイアスや損傷を加えた画像の分布シフトに対して一般化性能を向上させること。
• 分類や検出といった下流タスクにおけるマルチオブジェクトおよび分布外設定での性能向上を図ること。

提案手法

• 異なる画像間の特徴を対照的に比較することで、判別的な画像領域を特定する対照的自己教師あり手法ContraCAMを提案。これにより、アノテーションなしでオブジェクト局所化が可能となる。
• 複数のオブジェクトおよび完全な形状を検出可能にするために、ContraCAMの反復的精錬手順を導入する。
• 検出されたオブジェクトを中心にパッチをクロップするオブジェクトに特化したランダムクロップを設計。これにより、オブジェクトとバックグラウンドが混合したパッチに起因する文脈バイアスが低減される。
• ContraCAMマスクに基づいて、異なる画像のバックグラウンドを混合するバックグラウンドミックスアップというデータ増強法を導入。これにより、バックグラウンドバイアスが低減される。
• ContraCAMが生成するマスクを用いて、対照的学習中に検出されたオブジェクトをマスクすることで、効果的なネガティブサンプルを生成する。
• MoCov2およびBYOLの両方のフレームワークにこの手法を適用し、複数の対照的学習方式においても互換性と性能向上を示した。

実験結果

リサーチクエスチョン

• RQ1 対照的特徴比較による自己教師ありオブジェクト局所化は、対照的表現学習におけるシーンバイアスを効果的に低減できるか？
• RQ2 オブジェクトに特化したランダムクロップおよびバックグラウンドミックスアップの増強法は、バックグラウンドシフトおよび分布シフト下での一般化性能をどのように向上させるか？
• RQ3 ContraCAMは、教師ありアノテーションなしで複数のオブジェクトおよび完全な形状をどの程度正しく局所化できるか？また、その局所化性能は表現品質にどのように影響するか？
• RQ4 標準的な対照的学習と比較して、本手法はマルチオブジェクトおよび分布外データセットにおける下流タスク性能を向上させるか？
• RQ5 MoCov2やBYOLといった異なる対照的学習アーキテクチャにも、本フレームワークは汎用的に適用可能か？

主な発見

• COCOデータセットでは、本手法がMoCov2ベースラインに対して7.8%、BYOLベースラインに対して4.5%の線形評価精度向上を達成し、マルチオブジェクトシーンにおける強力な性能を示した。
• Background Challengeデータセットでは、MoCov2を用いた場合にトップ1精度65.55%、BYOLを用いた場合に64.59%を達成。ヴァニラベースラインを著しく上回り、バックグラウンドに起因する誤分類が顕著に低減された。
• ImageNet-Sketch（形状バイアスのシフト）では、MoCov2を用いた場合に62.25%、BYOLを用いた場合に64.59%の精度を達成。形状ベースの分布シフトに対して高いロバスト性を示した。
• ObjectNet-9（分布シフト）では、BG-Mixup (CAM) がMoCov2を用いた場合に29.28%、BYOLを用いた場合に31.38%の精度を達成。標準的な増強法を上回り、優れた一般化性能を示した。
• SI-Score-9（バックグラウンドシフト）では、BG-Mixup (CAM) がMoCov2を用いた場合に63.50%、BYOLを用いた場合に62.77%の精度を達成。バックグラウンドバイアスの効果的低減を示した。
• ContraCAMは、教師ありCAMや最先端の無教師手法と同等の局所化性能を達成しており、自己教師ありかつシンプルであるにもかかわらず顕著な成果を上げた。