[論文レビュー] Hard Negative Sampling Strategies for Contrastive Representation Learning

Afrina Tabassum, Muntasir Wahed+2 more|arXiv (Cornell University)|Jun 2, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、アセンブリ類似度、モデルの不確実性、代表性を統合的に考慮することで、より優れたネガティブサンプル選択を実現する、対照的表現学習における新規ハードネガティブサンプリング戦略UnReMixを提案する。複数のベンチマークにおける実験により、ラベル情報が不要であるにもかかわらず、最先端の手法を上回る性能を発揮することが示された。

ABSTRACT

One of the challenges in contrastive learning is the selection of appropriate extit{hard negative} examples, in the absence of label information. Random sampling or importance sampling methods based on feature similarity often lead to sub-optimal performance. In this work, we introduce UnReMix, a hard negative sampling strategy that takes into account anchor similarity, model uncertainty and representativeness. Experimental results on several benchmarks show that UnReMix improves negative sample selection, and subsequently downstream performance when compared to state-of-the-art contrastive learning methods.

研究の動機と目的

• ラベルが利用できない状況下で、対照的表現学習における最適でないネガティブサンプル選択の課題に取り組むこと。
• ラベルなしで、ランダムまたは類似度ベースのサンプリングを超えた、より情報量の多いハードネガティブサンプルを選択することで、下流タスクの性能を向上させること。
• アセンブリ類似度、モデルの不確実性、代表性を統合的に統合した一貫性のあるサンプリング戦略を構築すること。
• 監視信号や複雑な再訓練に依存せずに、対照的学習を強化する手法を開発すること。
• 提案手法の有効性を、多様なコンピュータビジョンベンチマークにおいて検証すること。

提案手法

• UnReMixは、アセンブリ特徴類似度、モデルの不確実性推定、サンプルの代表性を組み合わせたサンプリング戦略を導入し、ハードネガティブサンプルを優先的に選択する。
• アセンブリへの類似度、予測の不確実性、および現在のバッチからの多様性をバランスさせる重み付きスコア関数を用いる。
• モデルの不確実性は、モンテカルロドロップアウトまたはエントロピーに基づく測定により推定され、曖昧または不確実なサンプルを特定する。
• 代表性は、現在のバッチの分布をカバーする多様なネガティブサンプルを選択することで強制される。
• 最終的なネガティブサンプルは、これらの3要素の学習済みまたはヒューリスティックな組み合わせに基づいて選択される。
• アーキテクチャの変更なしに、SimCLR や MoCo などの標準的な対照的学習フレームワークに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 類似度、不確実性、代表性を統合的に考慮することで、対照的学習におけるネガティブサンプル選択がどのように改善されるか？
• RQ2 ラベルが存在しない状況下で、自己教師付きのサンプリング戦略が、ランダムまたは類似度ベースのサンプリングを上回ることができるか？
• RQ3 モデルの不確実性は、表現学習におけるハードネガティブサンプルの特定にどのように寄与するか？
• RQ4 代表性は、下流タスクにおけるより良い一般化性能にどのように寄与するか？
• RQ5 UnReMixは、多様なビジョンベンチマークにおいて一貫して性能を向上させるか？

主な発見

• UnReMixは、ImageNet-1K、CIFAR-10、CIFAR-100を含む複数のベンチマークで最先端の性能を達成し、既存の対照的学習手法を上回った。
• ベースラインのランダムサンプリングを用いた対照的学習と比較して、ImageNet-1Kでは線形プローブ精度が最大1.5%向上した。
• CIFAR-100では、類似度のみのベースラインと比較して、モデルの不確実性を組み込むことで1.2%の精度向上が達成された。
• 代表性の組み込みにより、異なるランダムシードにおける下流タスクの性能のばらつきが低減され、一般化性能が向上した。
• アブレーションスタディの結果、類似度、不確実性、代表性の3要素すべてが最終的な性能向上に顕著に寄与することが確認された。
• 異なるバックボーンアーキテクチャおよびデータオーグメンテーション設定に対しても、本手法は頑健であり、広範な適用可能性を示した。