[论文解读] Contrastive learning, multi-view redundancy, and linear models

Christopher Tosh, Akshay Krishnamurthy+1 more|arXiv (Cornell University)|Aug 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 17

一句话总结

本文对多视图设置下的对比学习进行了理论分析，表明当两个视图共享关于标签的冗余信息时，所学表征的线性函数在下游预测任务中近乎最优。关键结果表明，即使数据有限或优化不完美，通过对比学习获得的低维表征也能实现近乎最优的性能。

ABSTRACT

Self-supervised learning is an empirically successful approach to unsupervised learning based on creating artificial supervised learning problems. A popular self-supervised approach to representation learning is contrastive learning, which leverages naturally occurring pairs of similar and dissimilar data points, or multiple views of the same data. This work provides a theoretical analysis of contrastive learning in the multi-view setting, where two views of each datum are available. The main result is that linear functions of the learned representations are nearly optimal on downstream prediction tasks whenever the two views provide redundant information about the label.

研究动机与目标

• 为了从理论上解释对比学习在多视图表示学习中取得经验成功的原因。
• 为了分析在线性模型应用于对比表征时，其在下游任务中表现良好的条件与原因。
• 为了建立低维表征通过对比学习获得时，其性能可与贝叶斯最优预测器相媲美的条件。
• 为了量化在视图冗余存在的情况下，表征维度与下游预测误差之间的权衡关系。

提出的方法

• 提出了一种使用数据两个视图的对比学习通用框架，假设两个视图共享关于标签的冗余信息。
• 引入了两种具体的表征学习方法：基于第二视图独立同分布样本的地标嵌入，以及通过直接似然比最小化实现的双变量优化嵌入。
• 将给定两个视图时标签的条件期望作为贝叶斯最优预测器的代理，并界定了线性预测器在对比表征上的误差相对于该基准的范围。
• 推导了应用于所学表征的线性预测器的风险泛化界，考虑了数据稀缺性、优化误差和表征限制。
• 分析了对比目标的过剩损失相对于最优表征的大小，表明小的过剩损失意味着小的预测误差。
• 将理论应用于简单的隐变量模型，以在受控条件下说明界的行为。

实验结果

研究问题

• RQ1 在何种条件下，对比学习产生的表征可使线性预测器在下游任务中实现近乎最优的性能？
• RQ2 当每个视图单独预测标签的能力几乎与两个视图联合使用时相当（即多视图冗余）时，这种冗余如何影响对比表征的质量？
• RQ3 即使数据有限或优化不完美，通过对比学习获得的低维表征是否仍能实现近乎最优的预测性能？
• RQ4 对比目标的过剩损失与下游线性模型最终预测误差之间的关系是什么？
• RQ5 在泛化保证方面，地标嵌入方法与基于双变量优化的嵌入方法相比如何？

主要发现

• 当两个视图共享关于标签的冗余信息时，即使真实最优预测器是非线性的，对比表征的线性函数在下游预测任务中也近乎最优。
• 地标嵌入方法在高概率下满足风险界 $ R(\varphi) \leq 2\varepsilon_{\text{lm}} + 4(1+g_{\max})^2\sqrt{2\varepsilon_{\text{opt,lm}}\varepsilon_{\text{lm}}} + 16(1+g_{\max})^4\varepsilon_{\text{opt,lm}} $，其中 $ \varepsilon_{\text{lm}} $ 和 $ \varepsilon_{\text{opt,lm}} $ 分别量化了近似误差和优化误差。
• 对于直接嵌入方法，风险被界为 $ R(\eta) \leq \mathbb{E}[Y^2](1+g_{\max})^4 \varepsilon_{\text{opt,direct}} $，其中 $ \varepsilon_{\text{opt,direct}} $ 同时捕捉了优化误差和表征误差。
• 理论分析表明，即使表征为有限维，当视图冗余时，仍可实现近乎最优的性能，这意味着对比学习能有效提炼与标签相关的信息。
• 结果表明，下游线性预测器的质量取决于对比目标的过剩损失相对于最优似然比函数 $ g^\star $ 的大小，而非表征本身的绝对质量。
• 在简单的隐变量模型中，推导出的界是紧致的，且反映了直观行为：视图间的冗余性越高，下游性能越好。