[論文レビュー] Conditional Negative Sampling for Contrastive Learning of Visual Representations

Mike Wu, Milan Mosse+3 more|arXiv (Cornell University)|May 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 12

ひとこと要約

本稿では、対照的学習における条件付きネガティブサンプリングを提案し、各ポジティブサンプルの周囲に準ハードなネガティブサンプルを選択することで、相互情報推定の精度を向上させる。ポジティブに条件づけられたネガティブサンプリングにより、分散が低減され、性能が向上し、線形評価および転移学習の下で、複数のモデルとベンチマークで2–5%の絶対的精度向上を達成した。

ABSTRACT

Recent methods for learning unsupervised visual representations, dubbed contrastive learning, optimize the noise-contrastive estimation (NCE) bound on mutual information between two transformations of an image. NCE typically uses randomly sampled negative examples to normalize the objective, but this may often include many uninformative examples either because they are too easy or too hard to discriminate. Taking inspiration from metric learning, we show that choosing semi-hard negatives can yield stronger contrastive representations. To do this, we introduce a family of mutual information estimators that sample negatives conditionally -- in a ringaround each positive. We prove that these estimators remain lower-bounds of mutual information, with higher bias but lower variance than NCE. Experimentally, we find our approach, applied on top of existing models (IR, CMC, and MoCo) improves accuracy by 2-5% absolute points in each case, measured by linear evaluation on four standard image benchmarks. Moreover, we find continued benefits when transferring features to a variety of new image distributions from the Meta-Dataset collection and to a variety of downstream tasks such as object detection, instance segmentation, and key-point detection.

研究の動機と目的

• 対照的学習におけるランダムネガティブサンプリングの非効率性を解決すること。これは、しばしば識別が容易すぎたり難しすぎたりする情報のない例を含む。
• 準ハードなネガティブサンプルに注目する条件付きサンプリング戦略を導入することで、対照的学習における相互情報推定を改善すること。
• 標準NCEと比較して分散を著しく低減しつつ、相互情報の下界である理論的保証を維持すること。
• 実験的に、条件付きネガティブサンプリングが多様なモデルおよび下流タスクにおける表現品質の向上を実証すること。

提案手法

• 特徴類似度に基づき、各ポジティブサンプルの周囲にリング状にネガティブサンプルを条件付きでサンプリングする、相互情報推定器の族を導入する。
• ポジティブサンプルとあまりに似すぎず、あまりに似ていない、すなわち準ハードなネガティブサンプルを優先する条件付きサンプリングメカニズムを用いる。
• 提案された推定器が相互情報の有効な下界のまま保たれることを証明し、標準NCEと比較してバイアスはやや高くなるが、分散は顕著に低減されることを示す。
• InfoMin、CMC、MoCo などの既存の対照的学習フレームワークに、即座に統合可能なプラグイン拡張としてこの手法を適用する。
• 温度スケーリングを施した対照的損失と条件付きサンプリングを組み合わせ、トレーニング中の特徴の識別能を向上させる。
• 最適化過程における現在の特徴分布に応じて、ネガティブサンプリングを動的に調整できるリングアラウンドサンプリング戦略を活用する。

実験結果

リサーチクエスチョン

• RQ1 準ハードな例に焦点を当てた条件付きネガティブサンプリングは、ランダムネガティブサンプリングと比較して、対照的視覚表現の質を向上させることができるか？
• RQ2 提案された条件付きサンプリング手法は、分散を低減しつつも、相互情報推定の理論的下界性を維持するか？
• RQ3 線形評価の下で、異なる対照的学習フレームワーク（例：IR、CMC、MoCo）において、この手法はどの程度性能を向上させるか？
• RQ4 新しい画像分布や多様な下流タスクへの特徴転送において、この手法はどの程度一般化するか？

主な発見

• 提案された条件付きネガティブサンプリング手法は、既存のモデルに適用することで、4つの標準画像ベンチマークにおいて線形評価精度を2–5%の絶対ポイント向上させる。
• この手法は、分散を低減しつつも相互情報推定の下界性を維持しており、より安定かつ効果的なトレーニングを実現する。
• 性能向上は、InfoMin（IR）、CMC、MoCo を含む複数の対照的学習フレームワークにわたり一貫しており、広範な適用可能性を示す。
• Meta-Dataset コレクションにおいても、転移性能がさらに向上し、新しい画像分布への強力な一般化能力を示している。
• 物体検出、インスタンスセグメンテーション、キーポイント検出を含む多様な下流タスクにおいて、一貫した改善が得られている。