[论文解读] Inference in generative models using the Wasserstein distance

Espen Bernton, Pierre Jacob+2 more|arXiv (Cornell University)|Jan 18, 2017

Complex Systems and Time Series Analysis参考文献 2被引用 30

一句话总结

本文建立了使用Wasserstein距离进行生成模型参数估计的理论基础，提出最小Wasserstein估计量（MWE）与最小期望Wasserstein估计量（MEWE）。在模型设定错误的情况下，证明了其的一致性、存在性与可测性，并为一维位置尺度模型推导出收敛速率与渐近分布。

ABSTRACT

In purely generative models, one can simulate data given parameters but not necessarily evaluate the likelihood. We use Wasserstein distances between empirical distributions of observed data and empirical distributions of synthetic data drawn from such models to estimate their parameters. Previous interest in the Wasserstein distance for statistical inference has been mainly theoretical, due to computational limitations. Thanks to recent advances in numerical transport, the computation of these distances has become feasible, up to controllable approximation errors. We leverage these advances to propose point estimators and quasi-Bayesian distributions for parameter inference, first for independent data. For dependent data, we extend the approach by using delay reconstruction and residual reconstruction techniques. For large data sets, we propose an alternative distance using the Hilbert space-filling curve, which computation scales as nlogn where n is the size of the data. We provide a theoretical study of the proposed estimators, and adaptive Monte Carlo algorithms to approximate them. The approach is illustrated on four examples: a quantile g-and-k distribution, a toggle switch model from systems biology, a Lotka-Volterra model for plankton population sizes and a L\\'evy-driven stochastic volatility model.

研究动机与目标

• 为在真实数据生成过程不属于模型族时的最小Wasserstein距离估计建立严格的理论框架。
• 在一般条件下（包括模型设定错误的情形）建立最小Wasserstein估计量（MWE）与最小期望Wasserstein估计量（MEWE）的存在性、可测性与一致性的理论基础。
• 将MWE的渐近理论扩展至一维模型，推导出一阶Wasserstein距离估计量的收敛速率与渐近正态性。
• 解决近似这些估计量时的计算挑战，并提供实际的数值实现策略。
• 展示在似然函数难以计算的场景（如近似贝叶斯计算与复杂生成模型）中，基于Wasserstein的推断所具备的鲁棒性与实际应用价值。

提出的方法

• 将最小Wasserstein估计量（MWE）作为Bassetti等人（2006）的特例提出，通过最小化经验分布与模型分布之间的Wasserstein距离来实现。
• 提出最小期望Wasserstein估计量（MEWE）作为数值上更稳定的替代方案，通过在模拟数据上最小化期望Wasserstein距离来实现。
• 利用上极限收敛性与一般最小距离估计理论（Pollard, 1980）推导渐近性质，避免依赖似然方法。
• 通过弱收敛性与混合条件（α-混合）证明，在最小假设下经验分布几乎必然收敛至真实数据分布。
• 运用紧致性与连续性论证，建立最小化解的存在性与分离性，尤其在参数空间紧致时成立。
• 通过Bassetti与Regazzini（2006）的扩展，推导出一维位置尺度模型中MWE的收敛速率与渐近正态性。

实验结果

研究问题

• RQ1 当真实数据生成模型不在所假设的模型族中时，最小Wasserstein估计量（MWE）在何种条件下具有一致性？
• RQ2 在模型设定错误下，MWE与MEWE的存在性、可测性与一致性等理论性质有何差异？
• RQ3 在一维位置尺度模型中，基于一阶Wasserstein距离的MWE的收敛速率与渐近分布为何？
• RQ4 在高维或似然函数难以计算的场景下，MEWE应如何有效近似？
• RQ5 在似然函数难以计算的生成模型中，基于Wasserstein的推断在哪些方面优于或补充了基于似然的推断？

主要发现

• 在参数空间紧致且Wasserstein距离关于参数连续的条件下，最小Wasserstein估计量（MWE）在模型设定错误下仍具有一致性。
• 最小期望Wasserstein估计量（MEWE）适用于数值近似，并继承了MWE的存在性与一致性性质。
• 对于一维位置尺度模型，MWE以参数速率 $ n^{-1/2} $ 收敛且渐近正态，扩展了Bassetti与Regazzini（2006）的结果。
• 本文证明，在α-混合与矩条件成立下，经验Wasserstein距离几乎必然收敛至真实Wasserstein距离，从而保证了估计量的一致性。
• 在较弱的正则性条件下，如存在一个紧子集使得全局最小值在此处取得且在该集合外的下确界严格更小，可保证最小化解的分离性。
• 数值实验验证了在似然函数难以计算的场景（包括近似贝叶斯计算与模型设定错误）中，基于Wasserstein的推断具有鲁棒性。