[论文解读] Demystifying Self-Supervised Learning: An Information-Theoretical Framework.

Yao-Hung Hubert Tsai, Yue Wu+2 more|arXiv (Cornell University)|Jun 10, 2020

Multimodal Machine Learning Applications参考文献 20被引用 13

一句话总结

本文提出了一种信息论框架，用以解释自监督学习为何有效：它表明，只有输入与自监督信号之间的共享信息才对下游任务有贡献，从而使表示能够提取与任务相关的内容，同时丢弃无关的噪声。该框架统一了对比学习与预测性目标，并通过视觉和视觉-语言任务中的受控实验得到验证。

ABSTRACT

Self-supervised representation learning adopts self-defined signals as supervision and uses the learned representation for downstream tasks, such as masked language modeling (e.g., BERT) for natural language processing and contrastive visual representation learning (e.g., SimCLR) for computer vision applications. In this paper, we present a theoretical framework explaining that self-supervised learning is likely to work under the assumption that only the shared information (e.g., contextual information or content) between the input (e.g., non-masked words or original images) and self-supervised signals (e.g., masked-words or augmented images) contributes to downstream tasks. Under this assumption, we demonstrate that self-supervisedly learned representation can extract task-relevant and discard task-irrelevant information. We further connect our theoretical analysis to popular contrastive and predictive (self-supervised) learning objectives. In the experimental section, we provide controlled experiments on two popular tasks: 1) visual representation learning with various self-supervised learning objectives to empirically support our analysis; and 2) visual-textual representation learning to challenge that input and self-supervised signal lie in different modalities.

研究动机与目标

• 通过识别输入与自监督信号之间共享信息的作用，解释自监督学习为何有效。
• 形式化自监督表示能够丢弃与任务无关的信息并仅保留与下游任务相关的内容的条件。
• 将常见的自监督目标（如对比学习和预测学习）与信息论原则联系起来。
• 通过视觉表示学习和跨模态视觉-文本学习中的受控实验，实证验证理论主张。

提出的方法

• 将自监督学习形式化为一个过程：表示必须仅提取输入与自监督信号之间的共享信息，使用诸如互信息等信息论概念。
• 定义关键假设：下游性能仅取决于输入与自监督信号之间的共享信息，而非独立或冗余分量。
• 推导出自监督表示对下游任务最优的理论条件，表明与任务无关的信息被有效丢弃。
• 将标准自监督目标（如对比学习、掩码预测）映射为在保留共享信息的同时最小化冗余。
• 在计算机视觉中设计受控实验，使用多种自监督目标测试该框架的预测。
• 将评估扩展至跨模态任务（视觉与文本），以检验当输入与信号处于不同模态时框架的鲁棒性。

实验结果

研究问题

• RQ1 在何种条件下，自监督学习能够成功地从输入中提取与任务相关的信息并丢弃无关分量？
• RQ2 如对比学习和预测学习等标准自监督目标如何与仅保留共享信息的原则保持一致？
• RQ3 该理论框架能否解释自监督学习在不同模态（如视觉与文本）中的有效性？
• RQ4 视觉和视觉-文本表示学习中的受控实验在多大程度上支持所提出的基于信息论的机制？

主要发现

• 只有当自监督表示捕获并保留了输入与自监督信号之间的共享信息时，其才有效，这与理论框架的预测一致。
• 该框架解释了为何对比学习和掩码预测目标有效：它们隐式地最小化了冗余并最大化共享信息。
• 在视觉表示学习的受控实验中，按照该框架训练的表示在下游任务上的泛化能力优于未遵守共享信息约束的表示。
• 在跨模态视觉-文本学习中，即使输入与自监督信号处于不同模态，该框架依然有效，证实了其鲁棒性。
• 理论分析表明，自监督表示通过仅关注共享内容，自然地丢弃了与任务无关的信息，如虚假相关性或噪声。
• 实证结果证实，下游性能与输入和自监督信号之间的互信息密切相关，验证了该框架的核心假设。