[论文解读] Optimal transport based theory for latent structured models

XuanLong Nguyen, Yun Wei|arXiv (Cornell University)|Jan 16, 2026

Bayesian Methods and Mixture Models被引用 0

一句话总结

本论文综述了使用最优传输距离学习潜在结构模型的最近理论进展，聚焦于将数据分布距离与混合模型及分层模型中的潜在混合测度距离连接起来的逆界。

ABSTRACT

This article is an exposition on some recent theoretical advances in learning latent structured models, with a primary focus on the fundamental roles that optimal transport distances play in the statistical theory. We aim at what may be the most critical and novel ingredient in this theory: the motivation, formulation, derivation and ramification of inverse bounds, a rich collection of structural inequalities for latent structured models which connect the space of distributions of unobserved structures of interest to the space of distributions for observed data. This theory is illustrated on classical mixture models, as well as the more modern hierarchical models that have been developed in Bayesian statistics, machine learning and related fields.

研究动机与目标

• 阐明最优传输在量化潜在混合测度与观测数据分布之间距离的作用。
• 引入将核方法传输成本耦合的复合运输距离。
• 将逆界作为将数据密度精度与潜在结构估计精度联系起来的关键工具进行解释。
• 讨论识别性、收敛速率，以及强识别性与弱识别性对估计的影响。

提出的方法

• 定义并利用混合测度 G 与 G' 之间的 r-Wasserstein 距离 W_r 作为潜在结构的度量。
• 引入将核 f(·|θ) 之间的 f-散度作为传输成本的复合运输距离 W_phi(G,G')。
• 在可识别性条件下建立形如 W_r(G,G') ≤ Ψ(V(p_G,p_G')) 的逆界。
• 刻画点态与一致性逆界，并将其与 G 的后验/最大似然估计量的收敛速率联系起来。
• 给出高斯核与拉普拉斯核的示例，以阐明显式的 Ψ 函数及其后果。
• 讨论矩和积分概率度量（IPM）如何给出替代的逆界。
• 讨论强识别性与弱识别性的角色及其对逆界的阶数 r 的影响。

实验结果

研究问题

• RQ1 最优传输距离如何量化有限混合与无限混合中潜在混合测度之间的差异？
• RQ2 在何种识别性条件下成立逆界，估计潜在结构 G 的速率是多少？
• RQ3 复合运输距离如何与传统的 f-散度相关联，以将数据密度与潜在结构联系起来？
• RQ4 在过拟合混合模型的背景下，点态最小极大之小的对比下，点态逆界与一致性逆界有何差异？
• RQ5 不同核（例如高斯、拉普拉斯）的选择如何影响逆界与收敛速率？

主要发现

• 基于 Wasserstein 的距离为比较混合模型中的混合测度提供了自然度量，并通过逆界将其与数据密度距离联系起来。
• 带有 f-散度成本的复合运输距离给出定量界，连接 p_G 与 p_G' 到 G 与 G'（如 h^2 与 Kullback–Leibler 与 W_2^2 的关系）。
• 在适当的识别性条件下，逆界确保 G → p_G 的映射是单射，从而将密度估计的收敛性转移到潜在结构的收敛性。
• 对于普通光滑核与超光滑核，在去卷积等情形给出明确的 Ψ 函数与具体速率（例如 Ψ(u) = u^{1/(2+β d')} 或 Ψ(u) = (-log u)^{-1/β}）。
• 在某些数据密度收敛条件下，点态极小极大与一致性分析给出如 (log n)^κ / n^{1/2} 的速率。
• 该框架还兼容基于矩与基于 IPM 的逆界，为推导各种估计过程的速率提供灵活路径。