[論文レビュー] Unbiased Supervised Contrastive Learning

Carlo Alberto Barbano, Benoît Dufumier+3 more|arXiv (Cornell University)|Nov 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿は、偏りのあるデータを扱う際の既存の損失関数（例：SupCon）の限界を特定する、教師あり対照学習のための新しい理論的枠組みを提案する。$\alpha$-SupInfoNCEは、正例・負例の分離を向上させるマージンに基づく対照損失であり、FairKLはデバイアス化正則化損失である。本手法は、CIFAR-10、CIFAR-100、ImageNetなどの偏りのあるビジョンデータセットにおいて、特に極端なデータバイアス下でも最先端の性能を達成する。

ABSTRACT

Many datasets are biased, namely they contain easy-to-learn features that are highly correlated with the target class only in the dataset but not in the true underlying distribution of the data. For this reason, learning unbiased models from biased data has become a very relevant research topic in the last years. In this work, we tackle the problem of learning representations that are robust to biases. We first present a margin-based theoretical framework that allows us to clarify why recent contrastive losses (InfoNCE, SupCon, etc.) can fail when dealing with biased data. Based on that, we derive a novel formulation of the supervised contrastive loss (epsilon-SupInfoNCE), providing more accurate control of the minimal distance between positive and negative samples. Furthermore, thanks to our theoretical framework, we also propose FairKL, a new debiasing regularization loss, that works well even with extremely biased data. We validate the proposed losses on standard vision datasets including CIFAR10, CIFAR100, and ImageNet, and we assess the debiasing capability of FairKL with epsilon-SupInfoNCE, reaching state-of-the-art performance on a number of biased datasets, including real instances of biases in the wild.

研究の動機と目的

• スパイルフィーチャーがラベルと相関する偏ったデータセットから、ロバストでバイアスのない表現を学習する課題に対処する。
• 訓練損失が低くても、データバイアスに対処できない既存の対照損失（例：SupCon、InfoNCE）の理論的限界を特定する。
• バイアスの形式的特徴付けを可能にする統一的なメトリクス学習フレームワークを構築し、新たな正則化制約を導出する。
• $\alpha$-SupInfoNCEを提案する。これは複数の正例を伴う教師あり学習に適した、マージンに依存する一般化されたInfoNCEの拡張であり、正例・負例の分離を向上させる。
• FairKLを提案する。これは極端なデータバイアス下でも効果を発揮する、新しいデバイアス化正則化損失であり、任意の対照的または非対照的損失に適用可能である。

提案手法

• 代表空間における距離制約を通じて、対照損失を分析するマージンに基づく理論的枠組みを構築する。
• 既存の損失（InfoNCE、SupCon）をメトリクス学習フレームワーク内で再定式化し、SupConに隠れた非対照的制約を明らかにする。
• $\alpha$-SupInfoNCEを提案する。これは、複数の正例を伴う教師あり学習を想定した、マージン制御可能なInfoNCEの一般化された拡張である。
• FairKLを設計する。これは、バイアスに一致するサンプルとバイアスに反するサンプルの表現距離を等しく保つ正則化損失である。
• 訓練中に$\alpha$-SupInfoNCEとFairKLを併用し、投影ヘッドを用いる場合には、元の空間と投影空間の両方で最適化を行う。
• アブレーションスタディとハイパーパramータ分析を用いて、主損失とFairKL正則化項のトレードオフを最適化する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な対照損失（例：SupCon）は、偏ったデータで訓練損失が最小化されても、バイアスのない表現を学習できないのか？
• RQ2 マージンに基づく定式化は、データバイアス下での教師あり対照学習のロバスト性をどのように向上させるのか？
• RQ3 表現学習におけるバイアスの形式的メトリクスベースの特徴付けは何か？ そして、それはどのようにデバイアス化に活用できるのか？
• RQ4 FairKLという新しい正則化損失は、データリウェイトやオーグメンテーションを必要とせずに、極端に偏ったデータセットでのバイアスを効果的に緩和できるか？
• RQ5 実世界の偏ったベンチマークにおいて、$\alpha$-SupInfoNCEとFairKLの併用は、既存の最先端のデバイアス緩和手法と比較してどのように優れているか？

主な発見

• $\alpha$-SupInfoNCEは、5.0%のバイアス比を持つCorrupted CIFAR-10で50.73%の精度を達成し、$\alpha$-SupConや他のベースラインを上回った。
• FairKL正則化は、bFFHQで3.15%、Corrupted CIFAR-10（5.0%バイアス）で1.08%の精度向上をもたらした。これは、完全な正則化項を用いた場合と平均値のみを制約する場合の比較である。
• 99.9%のバイアスを持つBiased-MNISTでは、$\alpha=0.01$のとき、$\alpha$-SupInfoNCEとFairKLを組み合わせたモデルが95.00%の精度を達成し、極端なバイアスに対してもロバストであることが示された。
• アブレーションスタディにより、完全なFairKL正則化項が、すべてのデータセットで一貫して性能向上をもたらすことが確認され、bFFHQでは最大3.15%の向上が得られた。
• $\alpha$（正則化重み）の選択は極めて重要である。強いバイアスに対してはより高い値が必要であり、Corrupted CIFAR-10とbFFHQでは$\alpha=0.1$が最適であった。
• 投影ヘッドの使用は、Corrupted CIFAR-10で最大3.4%の性能低下を引き起こした。これは、元の空間と投影空間の両方で同時に最適化する戦略が、より効果的である可能性を示唆している。