[论文解读] Generalized Talagrand Inequality for Sinkhorn Distance using Entropy Power Inequality

Shuchan Wang, Photios A. Stavrou+1 more|arXiv (Cornell University)|Sep 17, 2021

Point processes and geometric inequalities参考文献 26被引用 2

一句话总结

本文通过熵幂不等式（EPI）的饱和性，结合无穷小位移凸性，建立了用于Sinkhorn距离的新Talagrand型不等式。推导出两个新颖的不等式，将高斯Talagrand结果推广至强对数凹分布，给出了高斯与i.i.d.柯西分布的显式表达式，并通过数值验证了其在各类分布中的有效性。

ABSTRACT

In this paper, we study the connection between entropic optimal transport and entropy power inequality (EPI). First, we prove an HWI-type inequality making use of the infinitesimal displacement convexity of optimal transport map. Second, we derive two Talagrand-type inequalities using the saturation of EPI that corresponds to a numerical term in our expression. We evaluate for a wide variety of distributions this term whereas for Gaussian and i.i.d. Cauchy distributions this term is found in explicit form. We show that our results extend previous results of Gaussian Talagrand inequality for Sinkhorn distance to the strongly log-concave case.

研究动机与目标

• 通过熵最优传输方法，将Talagrand型不等式从Wasserstein距离推广至Sinkhorn距离。
• 通过饱和条件建立熵幂不等式（EPI）与熵最优传输之间的联系。
• 将现有关于Sinkhorn距离的高斯Talagrand不等式推广至更广泛的强对数凹分布族。
• 计算并分析由EPI饱和性引出的数值项在各类分布中的表现，包括高斯与i.i.d.柯西分布的显式形式。
• 通过数值模拟验证理论界，并展示其在生成对抗网络（GANs）与中继信道等机器学习场景中的相关性。

提出的方法

• 通过适配Bolley的证明技巧，利用最优传输映射的无穷小位移凸性，推导出Sinkhorn距离的HWI型不等式。
• 引入一个与熵幂不等式（EPI）饱和性相关的关键数值项，用于量化熵正则化带来的不确定性。
• 应用EPI饱和条件，推导出两个新的Talagrand型不等式（定理3与定理4），其中一者恢复Bolley的结果，另一者恢复Bai等人关于高斯分布的结果。
• 利用Brenier定理通过梯度映射构造最优耦合，从而借助微分熵与费雪信息推导出Sinkhorn距离的界。
• 采用Radon-Nikodym导数与分部积分法，结合凸分析与微分几何工具，将运输成本以熵与费雪信息的形式进行有界化。
• 进行数值模拟以评估所推导边界的性能，特别针对一个非高斯势能函数（V(x) = (x/5)²/2 + |x/10| + e^(-|x/10|) + k），在特定条件下显示出紧致性。

实验结果

研究问题

• RQ1 熵幂不等式（EPI）能否用于推导Sinkhorn距离的新Talagrand型不等式？
• RQ2 EPI的饱和性与所推导不等式中数值项的关系为何？其在特定分布下的取值如何？
• RQ3 关于Sinkhorn距离的高斯Talagrand不等式在多大程度上可推广至强对数凹分布？
• RQ4 所推导的不等式与文献中已有结果（如Bolley与Bai等人）相比如何？
• RQ5 所推导边界的数值行为在不同分布中表现如何？其在实际应用中有多紧致？

主要发现

• 通过利用无穷小位移凸性，本文推导出Sinkhorn距离的新HWI型不等式，建立了运输成本与熵项之间的联系。
• 通过EPI饱和性证明了两个新的Talagrand型不等式，其中关键数值项捕捉了熵正则化的影响。
• 对于高斯与i.i.d.柯西分布，EPI饱和项被显式计算，从而实现了对Sinkhorn距离的精确界。
• 定理3恢复了Bolley关于强对数凹测度的维数型Talagrand不等式，验证了理论框架的正确性。
• 定理4恢复了Bai等人关于Sinkhorn距离的高斯Talagrand不等式，确认了与已有结果的一致性。
• 数值模拟表明，所推导的边界（10）在非高斯势能下相对紧致，暗示其在生成对抗网络（GANs）与信息论中继信道容量估计等机器学习应用中的实际相关性。