[論文レビュー] Perfectly Balanced: Improving Transfer and Robustness of Supervised Contrastive Learning

Mayee F. Chen, Daniel Y. Fu+5 more|arXiv (Cornell University)|Apr 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、クラス崩壊と置換不変性の問題に取り組むことで、教師付き対照学習における転移性とロバスト性を向上させる手法を提案する。最適な分散を制御するための重み付きクラス条件付きInfoNCE損失と、置換不変性を破るためのクラス条件付きオートエンコーダを導入し、粗大から細分化への転移で11.1ポイントの向上、さまざまなデータセットにおける最悪グループのロバスト性で4.7ポイントの向上を達成。CelebAでは11.5ポイントの向上を記録し、最先端の性能を達成した。

ABSTRACT

An ideal learned representation should display transferability and robustness. Supervised contrastive learning (SupCon) is a promising method for training accurate models, but produces representations that do not capture these properties due to class collapse -- when all points in a class map to the same representation. Recent work suggests that "spreading out" these representations improves them, but the precise mechanism is poorly understood. We argue that creating spread alone is insufficient for better representations, since spread is invariant to permutations within classes. Instead, both the correct degree of spread and a mechanism for breaking this invariance are necessary. We first prove that adding a weighted class-conditional InfoNCE loss to SupCon controls the degree of spread. Next, we study three mechanisms to break permutation invariance: using a constrained encoder, adding a class-conditional autoencoder, and using data augmentation. We show that the latter two encourage clustering of latent subclasses under more realistic conditions than the former. Using these insights, we show that adding a properly-weighted class-conditional InfoNCE loss and a class-conditional autoencoder to SupCon achieves 11.1 points of lift on coarse-to-fine transfer across 5 standard datasets and 4.7 points on worst-group robustness on 3 datasets, setting state-of-the-art on CelebA by 11.5 points.

研究の動機と目的

• 教師付き対照学習（SupCon）が置換不変な表現によって引き起こされるクラス崩壊と低い転移性の問題を是正すること。
• 単純な表現の分散が、実証的利点にもかかわらず、性能向上に不十分である理由を解明すること。
• 表現幾何における制御された分散と、クラス固定の置換不変性を解消するメカニズムの両立の必要性を形式化すること。
• 重み付きクラス条件付きInfoNCE損失とクラス条件付きオートエンコーダを組み合わせた手法を開発・検証し、より優れた表現品質を実現すること。

提案手法

• αでパrameter化された、SupConとクラス条件付きInfoNCE損失の重み付き組み合わせを導入し、表現空間における分散の度合いを制御する。
• s_f(y)をクラス分散の尺度として定義し、分散を定量的に評価。最適なαが崩壊と均一性の両方をバランスさせることが証明された。
• σ_f(z)を部分クラスクラスタリングの尺度として提案し、表現品質の評価と粗大から細分化への転移性能との関連を明示する。
• クラス条件付きオートエンコーダを用いて、潜在的部分クラスクラスタリングを促進するインダクティブバイアスを導入し、置換不変性を破る。
• S^{d-1}上での理論的分析とシミュレーションを用い、中間的分散が最適となるαの範囲を導出する。
• CIFAR-10と複数の下流タスクで実験的に検証し、最適化ベースの幾何探索を用いて理論的主張を検証した。

実験結果

リサーチクエスチョン

• RQ1 SupConとクラス条件付きInfoNCE損失の重み付き組み合わせは、崩壊や過剰均一化を避けて、表現空間における分散の度合いを制御できるか？
• RQ2 クラス固定の置換に対して不変であるにもかかわらず、分散そのものが転移性向上に不十分であるのはなぜか？
• RQ3 表現幾何における置換不変性をどのように破ることで、粗大から細分化への転移とロバスト性を向上させられるか？
• RQ4 現実的な条件下で、潜在的部分クラスクラスタリングを促進する有効なインダクティブバイアスは何か？
• RQ5 クラス条件付きオートエンコーダを用いて制御された分散と部分クラスクラスタリングを統合することで、転移性とロバスト性ベンチマークで最先端の性能が達成できるか？

主な発見

• 適切に重み付けされたクラス条件付きInfoNCE損失（α ∈ (2/3, c(τ,d))) は、CIFAR-10で検証されたように、崩壊と均一性の両方を回避する最適な分散を誘導する。
• 最適な幾何は、低αでは崩壊（低α）→中間的αで分散（中間α）→高αで均一（高α）へと遷移し、非ゼロの分散はα ≈ 0.67で出現する。
• クラス条件付きオートエンコーダは、潜在的部分クラスクラスタリングを促進することで、置換不変性を効果的に破り、転移性能を向上させる。
• 提案手法は、5つの標準データセットにおいて、ベースラインのSupConと比較して粗大から細分化への転移精度で11.1ポイントの向上を達成した。
• 最悪グループのロバスト性において、3つのデータセットで4.7ポイントの向上を記録し、CelebAでは11.5ポイントの向上を達成し、新たな最先端性能を樹立した。