[论文解读] CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information

Pengyu Cheng, Weituo Hao+4 more|arXiv (Cornell University)|Jun 22, 2020

Face and Expression Recognition被引用 59

一句话总结

CLUB 引入了对互信息的对比对数比上界及其对未知条件分布的变分形式，从而实现 MI 最小化，并在信息瓶颈和领域自适应任务中带来改进。

ABSTRACT

Mutual information (MI) minimization has gained considerable interests in various machine learning tasks. However, estimating and minimizing MI in high-dimensional spaces remains a challenging problem, especially when only samples, rather than distribution forms, are accessible. Previous works mainly focus on MI lower bound approximation, which is not applicable to MI minimization problems. In this paper, we propose a novel Contrastive Log-ratio Upper Bound (CLUB) of mutual information. We provide a theoretical analysis of the properties of CLUB and its variational approximation. Based on this upper bound, we introduce a MI minimization training scheme and further accelerate it with a negative sampling strategy. Simulation studies on Gaussian distributions show the reliable estimation ability of CLUB. Real-world MI minimization experiments, including domain adaptation and information bottleneck, demonstrate the effectiveness of the proposed method. The code is at https://github.com/Linear95/CLUB.

研究动机与目标

• 在分布未知或不可解的高维设置中，推动 MI 最小化的动机。
• 提供一个新的 MI 上界估计量，该估计量可微且可用梯度方法进行训练。
• 为 p(y|x) 未知的情况开发变分扩展（vCLUB），并给出其理论性质。
• 基于 CLUB/vCLUB 的 MI 最小化算法的实现，并通过负采样加速。
• 通过仿真和真实世界任务，如 Information Bottleneck 和 UDA，展示 CLUB 的有效性。

提出的方法

• 将 CLUB 定义为一个 MI 上界，使用带有正样本对和负样本对的条件概率之间的对比对数比。
• 证明 CLUB 是 I(X;Y) 的上界，并基于 log p(y|x) 推导无偏估计量 hat{I}_CLUB。
• 通过用变分网络 q_{θ}(y|x) 近似 p(y|x) 来引入 vCLUB，并推导其性质。
• 提出一个 MI 最小化算法，交替更新变分网络和联合分布 p_{σ}(x,y)。
• 用负采样策略加速计算，从而得到线性时间复杂度的采样 vCLUB (vCLUB-S)。
• 在 p(y|x) 已知或未知时，提供对 CLUB 的可选采样。

实验结果

研究问题

• RQ1 CLUB 能否提供可信且可训练的互信息上界，支持 MI 最小化？
• RQ2 当 p(y|x) 未知且 q_{θ}(y|x) 能很好地近似它时，vCLUB 的行为如何？
• RQ3 与现有的 MI 估计量在估计和最小化任务中相比，CLUB/vCLUB 是否提供有利的偏差-方差权衡？
• RQ4 基于 CLUB 的 MI 最小化是否能改善 Information Bottleneck 及相关领域自适应任务中的表示？
• RQ5 负采样（vCLUB-S）是否保持无偏性并提升效率与泛化能力？

主要发现

• 在玩具数据上，CLUB 在 MI 估计中始终表现出较低的偏差和具竞争性的均方误差，相较于基线界和下界。
• 当变分近似 q_{θ}(y|x) 与 p(y|x) 严密匹配时，vCLUB 上界仍然是一个上界或可靠的估计量。
• Information Bottleneck（BI）和无监督领域自适应（UDA）实验表明，基于 CLUB 的 MI 最小化在下游表现和表示质量上优于先前的界。
• 负采样（vCLUB-S）将每次迭代的计算成本降至 O(N)，同时保持估计量的无偏性。
• 在信息瓶颈设置中，CLUB及其采样变体实现了有竞争力的误分类率，通常在训练稳定性方面优于下界估计量和 L1-out。
• 基于采样的 CLUB 变体可在不牺牲估计精度的前提下提升泛化和 training 效率。