[论文解读] Decomposed Mutual Information Estimation for Contrastive Representation Learning

Alessandro Sordoni, Nouha Dziri+4 more|arXiv (Cornell University)|Jun 25, 2021

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出分解互信息估计（DEMI），一种通过链式法则将互信息（MI）估计分解为条件与无条件MI项之和的方法，从而改进对比表示学习。通过在逐步更丰富的子视图上进行训练，DEMI降低了MI估计中的偏差，在视觉和对话任务中相比标准对比方法取得了更优的表示性能。

ABSTRACT

Recent contrastive representation learning methods rely on estimating mutual information (MI) between multiple views of an underlying context. E.g., we can derive multiple views of a given image by applying data augmentation, or we can split a sequence into views comprising the past and future of some step in the sequence. Contrastive lower bounds on MI are easy to optimize, but have a strong underestimation bias when estimating large amounts of MI. We propose decomposing the full MI estimation problem into a sum of smaller estimation problems by splitting one of the views into progressively more informed subviews and by applying the chain rule on MI between the decomposed views. This expression contains a sum of unconditional and conditional MI terms, each measuring modest chunks of the total MI, which facilitates approximation via contrastive bounds. To maximize the sum, we formulate a contrastive lower bound on the conditional MI which can be approximated efficiently. We refer to our general approach as Decomposed Estimation of Mutual Information (DEMI). We show that DEMI can capture a larger amount of MI than standard non-decomposed contrastive bounds in a synthetic setting, and learns better representations in a vision domain and for dialogue generation.

研究动机与目标

• 为解决在测量大量互信息时，对比互信息（MI）估计中存在的低估偏差问题。
• 通过链式法则将完整的MI估计问题分解为更小、更易处理的子问题，以改进表示学习。
• 为条件MI构建一种对比下界，以实现高效优化。
• 证明分解MI估计可提升视觉与对话生成任务中的下游表示质量。

提出的方法

• 使用链式法则将两个视图x与y之间的互信息I(x; y)分解为各项之和：I(x; y) = I(x′; y) + I(x; y|x′)，其中x′是x的子视图。
• 通过从边缘分布p(y)中采样负样本，利用标准对比学习最大化无条件MI项I(x′; y)。
• 通过利用x′从p(y|x′)中生成难负样本，为条件MI项I(x; y|x′)构建对比下界，从而实现高效优化。
• 在对话任务中使用变分近似（如GPT2）建模p(y|x′)，以生成负样本未来。
• 训练编码器以区分正样本对(x, y)与负样本对(x, y′)，其中y′从p(y|x′)中采样，从而有效最大化条件MI。
• 在视觉（图像增强）与序列（对话）设置中应用该方法，以验证其泛化能力。

实验结果

研究问题

• RQ1 将互信息估计分解为更小的条件与无条件项，是否能降低对比MI估计中的偏差？
• RQ2 最大化条件MI I(x; y|x′)是否比仅最大化无条件MI I(x; y)能带来更好的表示学习效果？
• RQ3 所提出的条件MI对比下界是否能实现高效优化，并在不同模态数据上实现泛化？
• RQ4 DEMI在下游表示质量方面与标准对比方法及其他MI最大化基线相比表现如何？
• RQ5 该分解策略是否能在视觉与序列（对话）表示学习任务中均提升性能？

主要发现

• 在合成MI估计设置中，DEMI捕捉到的互信息显著多于标准非分解对比下界。
• 在视觉任务中，DEMI学习到的表示在下游性能上优于InfoNCE及其他基线方法。
• 在对话生成任务中，DEMI生成的回复质量更高，经自动指标与人工评估均得到验证。
• 人工评估显示，在α=0.01水平下，DEMI生成的回复显著优于InfoNCE与基线模型。
• DEMI在MultiWOZ 2.0对话基准上达到最先进性能，优于GPT2、TransferTransfo与GPT2-MMI。
• 消融实验确认，条件MI项对表示质量有显著贡献，尤其在捕捉序列数据中的长期依赖关系方面。