[论文解读] Information-Preserving Contrastive Learning for Self-Supervised Representations.

Tianhong Li, Lijie Fan+4 more|arXiv (Cornell University)|Dec 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用 4

一句话总结

本文提出信息保持对比学习（IPCL），一种自监督表示学习框架，即使在存在捷径（数据中的虚假相关性）时也能保留与任务相关的信息。与以往通过数据增强消除捷径的方法不同，IPCL明确保留捷径特征和有意义的特征，从而在多种下游任务和模态（包括无线电信号等不可解释的模态）中实现性能提升。

ABSTRACT

Contrastive learning is very effective at learning useful representations without supervision. Yet contrastive learning has its limitations. It may learn a shortcut that is irrelevant to the downstream task, and discard relevant information. Past work has addressed this limitation via custom data augmentations that eliminate the shortcut. This solution however does not work for data modalities that are not interpretable by humans, e.g., radio signals. For such modalities, it is hard for a human to guess which shortcuts may exist in the signal, or how they can be eliminated. Even for interpretable data, sometimes eliminating the shortcut may be undesirable. The shortcut may be irrelevant to one downstream task but important to another. In this case, it is desirable to learn a representation that captures both the shortcut information and the information relevant to the other downstream task. This paper presents information-preserving contrastive learning (IPCL), a new framework for unsupervised representation learning that preserves relevant information even in the presence of shortcuts. We empirically show that the representations learned by IPCL outperforms contrastive learning in supporting different modalities and multiple diverse downstream tasks.

研究动机与目标

• 解决对比学习在数据中存在捷径时丢弃相关信患的局限性。
• 开发一种方法，以保留捷径特征和与任务相关的特征，特别是在无线电信号等不可解释的数据模态中。
• 实现支持多种下游任务的表示学习，即使捷径仅对部分任务有益。
• 克服依赖人工设计数据增强的局限性，这些方法在复杂或不可解释的数据中不切实际。

提出的方法

• IPCL引入一种对比学习框架，明确保留来自捷径和潜在语义内容的信息。
• 采用双分支网络学习增强视图的表示，同时在不变性与信息保留之间保持权衡。
• 该方法引入正则化项，鼓励模型即使在与虚假捷径相关时也保留对下游任务有用的信息。
• 利用对比目标，在正样本对（增强视图）之间保持平衡，同时最小化丢弃有用信号的风险。
• 该框架设计为模块化，适用于不同数据模态，包括人类无法理解的模态。
• 通过架构和损失设计的内在机制，避免依赖人类直觉进行数据增强，实现信息的内在保留。

实验结果

研究问题

• RQ1 对比学习能否改进以在数据中存在虚假捷径时仍保留相关信息？
• RQ2 如何学习到在捷径仅对部分任务有益时仍能保持多任务实用性的表示？
• RQ3 是否可能在不依赖人工设计增强的情况下，保留如无线电信号等不可解释数据模态中的信息？
• RQ4 保留捷径信息是否会降低需要语义理解的下游任务的性能？
• RQ5 通过同时保留捷径和有意义的特征，自监督框架是否能在多种模态和任务中超越标准对比学习？

主要发现

• IPCL在多个下游任务和数据模态中优于标准对比学习，包括无线电波等不可解释的信号。
• 该框架成功保留了来自捷径和语义有意义内容的信息，从而实现更好的泛化能力。
• IPCL在捷径有益的任务中保持性能，同时仍能为其他任务捕捉与任务相关的特征。
• 该方法在人类设计增强不切实际或不可行的数据类型中表现出良好的泛化能力。
• 实证结果表明，IPCL在复杂或模糊的数据环境中相比基线对比学习实现了更优的表示质量。