[論文レビュー] Conditional Contrastive Learning with Kernel

Yao-Hung Hubert Tsai, Tianqin Li+5 more|arXiv (Cornell University)|Feb 11, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、希少または連続的な条件変数のためのデータ不足を軽減するために、対照学習における明示的な条件付きサンプリングをカーネルに基づく重み付け方式に置き換える、カーネルを用いた条件付き対照学習（CCL-K）を提案する。カーネル条件付き埋め込み演算子を用いて類似度に基づく重みをデータポイントに割り当てることで、CCL-Kは連続的およびリソースが限られた条件付き値においても効果的な対照学習を可能にし、弱教師あり、公平性、ハードネガティブ対照学習の設定において最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Conditional contrastive learning frameworks consider the conditional sampling procedure that constructs positive or negative data pairs conditioned on specific variables. Fair contrastive learning constructs negative pairs, for example, from the same gender (conditioning on sensitive information), which in turn reduces undesirable information from the learned representations; weakly supervised contrastive learning constructs positive pairs with similar annotative attributes (conditioning on auxiliary information), which in turn are incorporated into the representations. Although conditional contrastive learning enables many applications, the conditional sampling procedure can be challenging if we cannot obtain sufficient data pairs for some values of the conditioning variable. This paper presents Conditional Contrastive Learning with Kernel (CCL-K) that converts existing conditional contrastive objectives into alternative forms that mitigate the insufficient data problem. Instead of sampling data according to the value of the conditioning variable, CCL-K uses the Kernel Conditional Embedding Operator that samples data from all available data and assigns weights to each sampled data given the kernel similarity between the values of the conditioning variable. We conduct experiments using weakly supervised, fair, and hard negatives contrastive learning, showing CCL-K outperforms state-of-the-art baselines.

研究の動機と目的

• 条件付き対照学習における特定の条件変数値に対するデータ不足の課題に対処すること。
• 従来のサンプリング手法が失敗する連続的または低頻度の条件変数を用いた効果的な対照学習を可能にすること。
• 明示的な条件付きサンプリングを、利用可能なすべての訓練データを活用する類似度重み付け機構に置き換えること。
• 弱教師あり、公平性、ハードネガティブ対照学習タスクにおける下流性能を向上させること。
• 多様な条件付き対照学習目的に一般化可能な統一的でスケーラブルなフレームワークを提供すること。

提案手法

• CCL-Kは、明示的な条件付きサンプリングを、ターゲット値と類似した条件変数値を持つデータポイントに高い重みを割り当てるカーネルに基づく重み付け方式に置き換える。
• カーネル条件付き埋め込み演算子（KCEO）を用いて、条件変数値間のカーネル類似度を計算し、対照学習中にそれらを重みとして使用する。
• 滑らかにしたカーネル類似度行列 (K_Z + λI)^{-1}K_Z を用いて重みを計算することで、ソフトで連続的な条件付き処理を実現する。
• CCL-Kは、InfoNCEなどの標準的な対照的目的関数にこの重み付けを統合し、アーキテクチャの変更なしに既存の対照学習フレームワークに適用可能である。
• 正確な一致ではなく類似度に基づくカーネル類似度を活用することで、任意の変数（連続的を含む）に基づいたポジティブおよびネガティブペアの構築が可能になる。
• エンドツーエンドの学習が可能で、カーネル重み付き対照的目的関数に基づいて表現が最適化され、一般化性能とロバスト性が向上する。

実験結果

リサーチクエスチョン

• RQ1 カーネルに基づく重み付けは、データが不足するか連続的な条件変数を扱う対照学習において、明示的な条件付きサンプリングを置き換えることができるか？
• RQ2 弱教師あり、公平性、ハードネガティブ学習の設定において、CCL-Kは標準的な条件付き対照学習ベースラインと比較してどの程度の性能を発揮するか？
• RQ3 条件変数にデータが不足している場合、カーネル類似度の使用が表現品質を向上させるか？
• RQ4 CCL-Kは、ビン分割やクラスタリングを伴わずに連続的な条件変数を効果的に処理できるか？
• RQ5 カーネルに基づく重み付けは、複数の対照学習タスクにおける下流分類精度にどのような影響を与えるか？

主な発見

• ハードネガティブ対照学習設定において、CCL-KはCIFAR-10でInfoNCEベースラインを1.8%、ImageNet-100で3.1%上回った。
• 同じ設定で、HardNeg InfoNCEベースラインに対し、CIFAR-10で0.3%、ImageNet-100で2.0%の向上を達成した。
• CCL-Kは、弱教師あり、公平性、ハードネガティブ対照学習の3つの評価タスクすべてで最先端の性能を達成した。
• 本手法は連続的な条件変数を用いた効果的な対照学習を可能にし、ビン分割やクラスタリングの必要性を排除した。
• 実証的結果から、ハードネガティブサンプリングにおいて、カーネルベースの重み付けがユークリッド距離に基づく重み付けよりも優れた下流性能をもたらすことが示された。
• CCL-Kは、リソースが限られた条件付き値でさえも、多様な条件付き対照学習目的にわたってロバストで一般化可能な性能を示した。