[論文レビュー] Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations.

Yao-Hung Hubert Tsai, Quintín Martín Martín+4 more|arXiv (Cornell University)|Jun 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 5

ひとこと要約

本稿では、自己教師あり表現学習において、性別やドメイン固有のバイアスなどの望ましくない情報が組み込まれるのを防ぐために、対照学習中に望ましくない変数を条件付けする条件付き対照学習（CCL）を提案する。条件付きInfoNCE（C-InfoNCE）およびその計算効率の高い変種であるWeaC-InfoNCEを用いて、タスク関連の特徴と不要な属性を分離した表現を学習し、敏感な変数や関係のない変数に依存を最小限に抑えつつ、下流タスクで優れた性能を達成する。

ABSTRACT

Self-supervised learning is a form of unsupervised learning that leverages rich information in data to learn representations. However, data sometimes contains certain information that may be undesirable for downstream tasks. For instance, gender information may lead to biased decisions on many gender-irrelevant tasks. In this paper, we develop conditional contrastive learning to remove undesirable information in self-supervised representations. To remove the effect of the undesirable variable, our proposed approach conditions on the undesirable variable (i.e., by fixing the variations of it) during the contrastive learning process. In particular, inspired by the contrastive objective InfoNCE, we introduce Conditional InfoNCE (C-InfoNCE), and its computationally efficient variant, Weak-Conditional InfoNCE (WeaC-InfoNCE), for conditional contrastive learning. We demonstrate empirically that our methods can successfully learn self-supervised representations for downstream tasks while removing a great level of information related to the undesirable variables. We study three scenarios, each with a different type of undesirable variables: task-irrelevant meta-information for self-supervised speech representation learning, sensitive attributes for fair representation learning, and domain specification for multi-domain visual representation learning.

研究の動機と目的

• 自己教師あり表現に組み込まれる望ましくない情報（性別、メタ属性、ドメインラベルなど）を解消する問題に対処すること。
• 望ましくない変数のラベル付きデータが不要な状態で、表現学習の過程でそのような情報を能動的に除去する手法を開発すること。
• 自己教師ありモデルがタスク関連の特徴を学習しつつ、感受性の高い属性やタスクに無関係な属性を分離できるようにすること。
• 音声、公平性、マルチドメインビジョンの3分野において、多様なシナリオでこの手法を評価すること。

提案手法

• 望ましくない変数を正例の対照学習中に条件付けする、条件付きInfoNCE（C-InfoNCE）を提案する。
• C-InfoNCEの計算効率を高めた変種として、WeaC-InfoNCEを導入する。
• 対照学習プロセス中にその変数の値を固定することで、望ましくない変数の影響を効果的に排除する。
• InfoNCEの目的関数をベースとしつつ、条件付けによって望ましくない変数に対する不変性を強制するように変更する。
• 標準的なデータ拡張および対照学習フレームワークを用い、主な変更点は望ましくない変数に対する条件付け機構である。
• 3つの異なる設定にこの手法を適用する：自己教師あり音声表現学習、公平な表現学習、マルチドメイン視覚表現学習。

実験結果

リサーチクエスチョン

• RQ1 条件付き対照学習は、自己教師あり音声表現からタスクに無関係なメタ情報（meta-information）を効果的に除去できるか？
• RQ2 公平な表現学習において、性別のような感受性の高い属性への依存度をどの程度低減できるか？
• RQ3 マルチドメインビジョンにおけるドメインラベルのようなさまざまな種類の望ましくない変数に対して、この手法はどの程度一般化できるか？
• RQ4 提案されたC-InfoNCEおよびWeaC-InfoNCEの目的関数は、望ましくない情報を最小限に抑えつつ、下流タスクの性能を維持できるか？
• RQ5 望ましくない変数の明示的ラベルが不要な状態でも、条件付け機構が表現の分離に有効に機能するか？

主な発見

• 提案されたCCL手法は、評価されたすべてのシナリオにおいて、性別やドメインラベルといった望ましくない変数の影響を著しく低減した。
• WeaC-InfoNCEは、計算コストを大幅に削減しつつC-InfoNCEと同等の性能を達成しており、大規模応用において実用的である。
• 音声表現学習の文脈では、メタ情報の除去に成功し、性別に依存しないタスクの精度が向上した。
• 公平な表現学習の文脈では、明示的な公平性制約がなくても、下流予測におけるバイアスが低減した。
• マルチドメイン視覚学習の文脈では、ドメイン不変の特徴を学習し、未観測ドメインへのゼロショット一般化性能が向上した。