[論文レビュー] Robust Contrastive Learning Using Negative Samples with Diminished Semantics

Songwei Ge, Shlok Mishra+3 more|arXiv (Cornell University)|Oct 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 24

ひとこと要約

本稿では、テクスチャーやローカルパッチといった非意味的特徴を保持する負例を生成することで、ロバストネスを向上させる画期的な対照学習フレームワークを提案する。テクスチャベースおよびパッチベースの増幅を用いてこのような負例を生成することで、表面的特徴への依存度を低減し、特に細分化されたおよびスケッチベースのベンチマークにおいて顕著に向上した分布外一般化性能が得られる。

ABSTRACT

Unsupervised learning has recently made exceptional progress because of the development of more effective contrastive learning methods. However, CNNs are prone to depend on low-level features that humans deem non-semantic. This dependency has been conjectured to induce a lack of robustness to image perturbations or domain shift. In this paper, we show that by generating carefully designed negative samples, contrastive learning can learn more robust representations with less dependence on such features. Contrastive learning utilizes positive pairs that preserve semantic information while perturbing superficial features in the training images. Similarly, we propose to generate negative samples in a reversed way, where only the superfluous instead of the semantic features are preserved. We develop two methods, texture-based and patch-based augmentations, to generate negative samples. These samples achieve better generalization, especially under out-of-domain settings. We also analyze our method and the generated texture-based samples, showing that texture features are indispensable in classifying particular ImageNet classes and especially finer classes. We also show that model bias favors texture and shape features differently under different test settings. Our code, trained models, and ImageNet-Texture dataset can be found at https://github.com/SongweiGe/Contrastive-Learning-with-Non-Semantic-Negatives.

研究の動機と目的

• ドメインシフト下でロバストネスを損なう非意味的で表面的な特徴（例：テクスチャ、ローカルパッチ）に依存するCNNの問題に対処すること。
• 非意味的特徴（例：テクスチャ、ローカルパッチ）のみを保持する負例が、対照学習を正則化し、低レベルなパターンへのモデルバイアスを低減できるかどうかを調査すること。
• 視覚表現学習における形状-テクスチャバイアスの系統的分析を可能にする新しいデータセット、ImageNet-Textureの開発。
• 形状とテクスチャ特徴のトレードオフを制御することで、特に細分化および分布外設定において、多様な下流タスクでの性能向上を実証すること。

提案手法

• ImageNet画像から抽出したパッチに古典的手法を用いたテクスチャ生成法を適用し、テクスチャベースの負例を生成する。
• 同じ入力画像からサイズの異なるランダムなパッチを抽出し、タイル化することでパッチベースの負例を生成する。
• MoCo や BYOL などの標準的な対照学習フレームワークに、入力と負例の表現類似度を最小化する形でこれらの非意味的負例を統合する。
• クエリと非意味的負例間の類似度に対する可学習ペナルティを用いて、形状とテクスチャ特徴の相対的重要度を制御する。
• 提案された ImageNet-Texture データセットを用いて、テクスチャと形状特徴が分類性能にどのように寄与するかを、異なるクラスやデータセットで分析する。
• 損失関数を変更せずに、標準的な対照学習目的（例：MoCo、BYOL）に本手法を適用可能にするため、プラグアンドプレイ統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 テクスチャーやローカルパッチなどの非意味的特徴のみを保持する負例が、対照学習表現のロバストネスを向上させられるか？
• RQ2 形状とテクスチャバイアスのトレードオフが、特に分布外設定下でのモデル一般化性能にどのように影響するか？
• RQ3 細分化画像認識タスクにおいて、テクスチャ特徴が正確な分類にどの程度寄与するか？
• RQ4 提案された負例生成法が、一般化性能およびロバストネスの観点で、標準的な負例サンプリング戦略を上回るか？
• RQ5 非意味的負例の使用により、モデルの表面的特徴への依存度が低下し、かつ域内精度を維持または向上できるか？

主な発見

• 提案された負例（テクスチャベースおよびパッチベース）は、ImageNet-100、ImageNet-1K、STL-10において一貫した一般化性能の向上を達成し、特に分布外（OOD）設定で顕著である。
• 非意味的負例を用いて訓練されたモデルは、テクスチャ特徴への依存度が低く抑えられ、形状に重点を置くImageNet-Sketchで優れた性能を示す。
• 細分化分類において、テクスチャ特徴が特に重要であることが判明した（例：ドッグブリード）。これは、その役割が文脈依存であることを示唆する。
• 本手法により、形状-テクスチャトレードオフの効果的な制御が可能である：非意味的負例に対するペナルティを増加させることで、モデルバイアスが形状寄りにシフトし、形状に敏感なベンチマークでの性能が向上する。
• ImageNet-Textureデータセットの分析から、特定のクラス（例：ドレッサーやプレート）ではテクスチャが形状よりも重要であることが明らかになり、クラスごとの特徴重要度の差が浮き彫りになった。
• 非意味的負例は、標準的な負例よりも対照学習において効果的である。これは、よりハードで情報量の多い負例として機能し、モデルの正則化をより効果的に実現するためである。