[論文レビュー] Debiased Contrastive Learning

Ching-Yao Chuang, Joshua Robinson+3 more|arXiv (Cornell University)|Jul 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 19

ひとこと要約

この論文は、同じラベルのサンプルを含む可能性のある全データ分布から抽出される負例におけるサンプリングバイアスを是正するデバイアスドコントラスト学習目的関数を提案する。この方法は、真に異なる負例の真正の分布を暗黙的に近似することで、ラベルなしで視覚、自然言語、強化学習のベンチマークにおいて性能を向上させる。理論的には、下流分類タスクの一般化バウンドと関連づけられる。

ABSTRACT

A prominent technique for self-supervised representation learning has been to contrast semantically similar and dissimilar pairs of samples. Without access to labels, dissimilar (negative) points are typically taken to be randomly sampled datapoints, implicitly accepting that these points may, in reality, actually have the same label. Perhaps unsurprisingly, we observe that sampling negative examples from truly different labels improves performance, in a synthetic setting where labels are available. Motivated by this observation, we develop a debiased contrastive objective that corrects for the sampling of same-label datapoints, even without knowledge of the true labels. Empirically, the proposed objective consistently outperforms the state-of-the-art for representation learning in vision, language, and reinforcement learning benchmarks. Theoretically, we establish generalization bounds for the downstream classification task.

研究の動機と目的

• 全データ分布から負例をサンプリングすることによって生じる性能の低下を是正すること。
• 真のラベルにアクセスせずに、このサンプリングバイアスを低減するコントラスト学習目的関数を開発すること。
• 既存のコントラスト学習フレームワークと互換性を保ちつつ、表現品質を向上させること。
• 下流分類タスクの一般化バウンドを用いて理論的裏付けを提供すること。
• コンピュータビジョン、自然言語処理、強化学習といった多様な分野で、実験的に手法を検証すること。

提案手法

• 本手法は、アーキテクチャのラベルと同一クラスに属する可能性があるサンプルが負例として抽出される確率を是正するデバイアスドコントラスト損失を導入する。
• 包含・除外の原理を用いて、正例と負例の分布の重なりを考慮した項に負例の期待値を分解する。
• 標準的なコントラスト学習目的関数を、正例と負例の分布の重なりを推定した補正項で調整することで損失を導出する。
• 補正係数は、正例分布からの負例抽出確率と全負例分布からの確率の比を用い、経験的推定で近似する。
• 任意のコントラスト学習フレームワークと互換性があり、損失関数の変更のみで実装可能である。
• 数値安定性を確保するため、推定器の値がしきい値未満に下がった場合には標準的なバイアス付き損失に切り替える。これにより、学習の安定性が保たれる。

実験結果

リサーチクエスチョン

• RQ1 全データ分布から負例をサンプリングする際のバイアスを是正することで、自己教師あり表現学習を改善できるか？
• RQ2 同一ラベルの負例が存在する可能性を考慮したデバイアスドコントラスト目的関数は、下流タスクの性能を向上させるか？
• RQ3 デバイアスドコントラスト目的関数に対して、教師あり学習と関連づけた理論的一般化バウンドを導出できるか？
• RQ4 視覚、自然言語、強化学習といった多様な分野において、提案手法は最先端のコントラスト学習手法を上回るか？
• RQ5 補正項が数値的に不安定になる場合でも、実用的・実装的に安定して動作するか？

主な発見

• デバイアスドコントラスト損失は、ラベルなしの状態でも、視覚、自然言語、強化学習のベンチマークで標準的なコントラスト学習を常に上回る性能を達成する。
• CIFAR-10では、真に異なるラベルの負例を用いたサンプリング（アンバイアスドサンプリング）が、標準的なサンプリングよりも顕著な精度向上をもたらし、サンプリングバイアスの存在を裏付ける。
• ImageNet-100、STL-10、BookCorpusにおいて、提案手法は最先端の性能を達成し、線形プローブ精度が向上している。
• 理論的分析により、デバイアスドコントラスト損失を最適化することは、教師あり分類損失の上界を最小化することに相当し、一般化保証が得られることが示された。
• 実験的アブレーションにより、補正項がラベルが不明な状態でも同一ラベル負例の影響を効果的に低減していることが確認された。
• 推定器の値が小さくなりすぎた場合には標準損失に切り替えることで、学習の安定性が維持され、収束が保証された。