[论文解读] Tighter Variational Representations of f-Divergences via Restriction to Probability Measures

Avraham Ruderman, Mark D. Reid+2 more|arXiv (Cornell University)|Jun 18, 2012

Statistical Mechanics and Entropy参考文献 20被引用 17

一句话总结

本文通过将对偶优化限制在概率测度上，提出了 f-散度的更紧致变分表示，从而提升了估计精度。该方法基于两个独立同分布样本，实现了更高效的 f-散度估计器，并建立了与最大均值差异（MMD）的联系，在多个基准测试中均展现出性能提升。

ABSTRACT

We show that the variational representations for f-divergences currently used in the literature can be tightened. This has implications to a number of methods recently proposed based on this representation. As an example application we use our tighter representation to derive a general f-divergence estimator based on two i.i.d. samples and derive the dual program for this estimator that performs well empirically. We also point out a connection between our estimator and MMD.

研究动机与目标

• 改进现有 f-散度变分表示的紧致性。
• 通过将对偶优化限制在概率测度上，降低 f-散度估计中的估计误差。
• 基于两个独立同分布样本，开发一种基于更紧致表示的实用 f-散度估计器。
• 建立所提估计器与最大均值差异（MMD）之间的理论与实证联系。
• 通过更紧致的界，提升基于 f-散度的机器学习方法在实际应用中的性能。

提出的方法

• 本文通过将对偶函数空间限制在概率测度上（而非一般符号测度），推导出 f-散度的更紧致变分表示。
• 其为 f-散度估计器构建了一个对偶规划，强制要求对偶函数属于概率测度集合。
• 该方法利用凸对偶性与勒让德-弗里尼赫变换，在受限定义域下推导出新的变分界。
• 所得估计器基于两个独立同分布样本构建，可实现无需密度比的实证估计。
• 在特定条件下，该方法被证明等价于正则化 MMD，从而与基于核的分布比较方法建立联系。
• 实证评估表明，与标准变分界相比，该方法在 f-散度估计任务中表现更优。

实验结果

研究问题

• RQ1 通过将对偶函数空间限制在概率测度上，能否使 f-散度的变分表示更紧致？
• RQ2 该限制在实践中如何影响 f-散度估计的精度？
• RQ3 新估计器与现有基于核的方法（如 MMD）之间存在何种关系？
• RQ4 更紧致的界是否能提升涉及 f-散度最小化的下游机器学习任务的性能？
• RQ5 与标准变分 f-散度估计器相比，受限对偶公式的理论与实证优势是什么？

主要发现

• 通过将对偶函数限制在概率测度上，所提方法显著收紧了 f-散度的变分界。
• 基于两个独立同分布样本的 f-散度估计器在实证评估中优于标准变分估计器。
• 推导出一个强制执行概率测度约束的对偶规划，从而实现更稳定和精确的优化。
• 该方法建立了新估计器与最大均值差异（MMD）之间的直接联系，尤其在特定核选择下表现明显。
• 实证结果表明，由于更紧致的界，该方法在分布比较与生成建模基准任务中性能更优。
• 理论框架为改进机器学习中的变分推断与散度估计提供了合理依据。