[论文解读] LSMI-Sinkhorn: Semi-supervised Squared-Loss Mutual Information Estimation with Optimal Transport.

Yanbin Liu, Makoto Yamada+4 more|arXiv (Cornell University)|Sep 5, 2019

Neural Networks and Applications参考文献 25被引用 4

一句话总结

该论文提出 LSMI-Sinkhorn，一种半监督平方损失互信息估计方法，通过最优传输和二次规划，利用有限的配对样本和丰富的未配对数据。通过将 SMI 表述为密度比估计问题，并采用 Sinkhorn 正则化最优传输方法求解，该方法即使在配对样本极少的情况下也能实现精确的互信息估计，在图像匹配和照片相册摘要任务中表现出色。

ABSTRACT

Estimating mutual information is an important machine learning and statistics problem. To estimate the mutual information from data, a common practice is preparing a set of paired samples. However, in some cases, it is difficult to obtain a large number of data pairs. To address this problem, we propose squared-loss mutual information (SMI) estimation using a small number of paired samples and the available unpaired ones. We first represent SMI through the density ratio function, where the expectation is approximated by the samples from marginals and its assignment parameters. The objective is formulated using the optimal transport problem and quadratic programming. Then, we introduce the least-square mutual information-Sinkhorn algorithm (LSMI-Sinkhorn) for efficient optimization. Through experiments, we first demonstrate that the proposed method can estimate the SMI without a large number of paired samples. We also evaluate and show the effectiveness of the proposed LSMI-Sinkhorn on various types of machine learning problems such as image matching and photo album summarization.

研究动机与目标

• 解决仅有少量配对样本时互信息估计的挑战。
• 通过结合有限的配对样本和未配对数据，提升 SMI 估计的准确性。
• 开发一种基于最优传输和二次规划的高效优化框架，用于 SMI 估计。
• 在真实世界机器学习任务（如图像匹配和照片相册摘要）上评估该方法。

提出的方法

• 该方法通过联合分布与乘积边缘分布之间的密度比函数来表示平方损失互信息（SMI）。
• 将 SMI 估计表述为一个最优传输问题，通过分配参数将配对样本与未配对样本关联起来。
• 通过带 Sinkhorn 正则化的二次规划求解目标函数，以确保计算效率和稳定性。
• 最小二乘互信息-Sinkhorn（LSMI-Sinkhorn）算法通过 Sinkhorn 迭代导出的可微传输计划来优化 SMI 目标。
• 该方法利用未配对样本改进密度比估计，降低对大规模配对数据集的依赖。
• 该方法设计为在配对数据稀缺时仍具备可扩展性和有效性。

实验结果

研究问题

• RQ1 仅使用少量配对样本和大量未配对样本，能否有效提升 SMI 估计？
• RQ2 通过最优传输整合未配对数据，如何提升互信息估计的准确性？
• RQ3 LSMI-Sinkhorn 方法在配对数据有限的半监督学习场景中表现如何？
• RQ4 在图像匹配和照片相册摘要任务中，该方法与现有 SMI 估计技术相比表现如何？

主要发现

• 所提出的 LSMI-Sinkhorn 方法即使在配对样本极少的情况下也能实现精确的 SMI 估计，显著降低了对大规模标注数据集的依赖。
• 通过最优传输有效利用未配对数据，该方法在图像匹配任务中表现出更优性能。
• 在照片相册摘要任务中，LSMI-Sinkhorn 通过利用有限配对样本的互信息估计，优于基线方法。
• Sinkhorn 正则化最优传输公式实现了稳定且高效的优化，这对实际应用至关重要。
• 实验结果证实，整合未配对数据显著提升了 SMI 估计的鲁棒性和准确性。