[论文解读] Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations.

Yao-Hung Hubert Tsai, Quintín Martín Martín+4 more|arXiv (Cornell University)|Jun 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用 5

一句话总结

本文提出条件对比学习（CCL），通过在对比学习过程中对不良变量进行条件化，从自监督表征中去除不希望出现的信息（如性别或领域特定偏见）。利用条件信息核估计（C-InfoNCE）及其高效变体WeaC-InfoNCE，该方法学习到的表征能够将任务相关特征与不想要的属性解耦，在下游任务中表现强劲，同时最大限度减少对敏感或无关变量的依赖。

ABSTRACT

Self-supervised learning is a form of unsupervised learning that leverages rich information in data to learn representations. However, data sometimes contains certain information that may be undesirable for downstream tasks. For instance, gender information may lead to biased decisions on many gender-irrelevant tasks. In this paper, we develop conditional contrastive learning to remove undesirable information in self-supervised representations. To remove the effect of the undesirable variable, our proposed approach conditions on the undesirable variable (i.e., by fixing the variations of it) during the contrastive learning process. In particular, inspired by the contrastive objective InfoNCE, we introduce Conditional InfoNCE (C-InfoNCE), and its computationally efficient variant, Weak-Conditional InfoNCE (WeaC-InfoNCE), for conditional contrastive learning. We demonstrate empirically that our methods can successfully learn self-supervised representations for downstream tasks while removing a great level of information related to the undesirable variables. We study three scenarios, each with a different type of undesirable variables: task-irrelevant meta-information for self-supervised speech representation learning, sensitive attributes for fair representation learning, and domain specification for multi-domain visual representation learning.

研究动机与目标

• 解决自监督表征中编码了不希望出现的信息（如性别、元属性或领域标签）的问题。
• 开发一种在表征学习过程中主动去除此类信息的方法，且无需为不良变量提供标注数据。
• 使自监督模型能够学习任务相关特征，同时将敏感或与任务无关的属性解耦。
• 在多种场景下评估该方法：语音、公平性以及多领域视觉。

提出的方法

• 提出条件信息核估计（C-InfoNCE），一种在正样本对比过程中对不良变量进行条件化的对比目标。
• 引入WeaC-InfoNCE，作为C-InfoNCE的计算效率更高的变体，简化了条件化机制。
• 通过在对比学习过程中固定不良变量的取值，实现对其影响的消除。
• 以信息核估计（InfoNCE）目标为基础，但通过条件化修改其形式，以强制对不良变量的不变性。
• 将该方法应用于三种不同场景：自监督语音表征学习、公平表征学习以及多领域视觉表征学习。
• 采用标准的数据增强和对比学习框架，关键修改在于对不良变量的条件化机制。

实验结果

研究问题

• RQ1 条件对比学习能否有效从自监督语音表征中去除与任务无关的元信息？
• RQ2 该方法在公平表征学习中在多大程度上减少了对性别等敏感属性的依赖？
• RQ3 该方法在不同类型的不良变量（如多领域视觉中的领域标签）上泛化能力如何？
• RQ4 所提出的C-InfoNCE和WeaC-InfoNCE目标是否在最小化不良信息的同时保持了下游任务的性能？
• RQ5 该条件化机制是否有效实现了表征的解耦，而无需为不良变量提供显式标注？

主要发现

• 所提出的CCL方法在所有评估场景中均成功降低了不良变量（如性别和领域标签）对自监督表征的影响。
• WeaC-InfoNCE在计算成本显著降低的情况下，实现了与C-InfoNCE相当的性能，使其在大规模应用中更具实用性。
• 在语音表征学习中，该方法去除了元信息，同时保留了与任务相关的语义内容，提升了在性别无关任务上的下游准确率。
• 在公平表征学习中，模型在下游预测中表现出更低的偏见，即使未施加显式的公平性约束。
• 在多领域视觉学习中，该方法学习到了领域不变的特征，提升了对未见领域的零样本泛化能力。