[论文解读] Local moment matching: A unified methodology for symmetric functional estimation and distribution estimation under Wasserstein distance

Yanjun Han, Jiantao Jiao+1 more|arXiv (Cornell University)|Feb 23, 2018

Markov Chains and Monte Carlo Methods参考文献 28被引用 8

一句话总结

本文提出了局部矩匹配（LMM），这是一种在Wasserstein距离下估计对称泛函与分布的统一框架。通过隐式地近似多项式，LMM在熵、幂和及支撑集大小估计中实现了极小极大最优率，样本复杂度达到信息论极限。

ABSTRACT

We present \emph{Local Moment Matching (LMM)}, a unified methodology for symmetric functional estimation and distribution estimation under Wasserstein distance. We construct an efficiently computable estimator that achieves the minimax rates in estimating the distribution up to permutation, and show that the plug-in approach of our unlabeled distribution estimator is "universal" in estimating symmetric functionals of discrete distributions. Instead of doing best polynomial approximation explicitly as in existing literature of functional estimation, the plug-in approach conducts polynomial approximation implicitly and attains the optimal sample complexity for the entropy, power sum and support size functionals.

研究动机与目标

• 解决使用Wasserstein距离对排列不变的离散分布进行估计的挑战，重点关注排序后的分布向量 P<。
• 开发一种计算高效的估计器，在 ℓ1 和Wasserstein损失下实现分布估计的极小极大最优率。
• 通过基于无标签分布估计器的插值方法，统一对称泛函估计（如熵、支撑集大小）与分布估计。
• 克服现有方法（如轮廓最大似然PML和线性规划）的局限性，提供可证明高效且最优的算法。
• 证明基于LMM的插值估计器对对称泛函具有普遍最优性，在各种参数范围内均达到信息论极限。

提出的方法

• 提出局部矩匹配（LMM）作为一种新型估计器，通过隐式多项式近似实现，无需显式最优多项式逼近。
• 利用局部矩匹配构建排序分布 P< 的估计器，在Wasserstein距离下实现极小极大最优性。
• 采用插值方法：通过将基于LMM的无标签分布估计器代入泛函中来估计对称泛函。
• 利用Charlier多项式与矩匹配技术，在高维设置下控制逼近误差与集中性。
• 通过Hoeffding型不等式及Charlier多项式系数的界，建立理论保证，控制矩匹配中的偏差。
• 在区间 ˜Ij 上采用分段方案以实现局部化分析，并使用K次多项式逼近，确保误差界与 n−1/2 及对数因子成比例。

实验结果

研究问题

• RQ1 能否为在Wasserstein距离下估计对称泛函与分布建立统一框架？
• RQ2 LMM方法是否在估计排序分布 P< 时达到极小极大最优率？
• RQ3 基于LMM的无标签分布估计器的插值方法是否能普遍实现对称泛函的信息论极限？
• RQ4 与PML和线性规划等现有方法相比，LMM在样本复杂度与理论保证方面表现如何？
• RQ5 熵估计中 ǫ 的最优依赖关系为何？LMM是否实现了该依赖？

主要发现

• LMM在Wasserstein距离下对排序分布 P< 的估计实现了极小极大最优率，样本复杂度在支持点数 S 上为次线性。
• 基于LMM的插值估计器在熵估计中达到信息论极限，误差界为 O(S/(n ln n))。
• 在支撑集大小估计中，LMM插值估计器的误差界为 O(k exp(−Θ(√(n ln k)/k)) + n^ε / √k)，与已知极小极大下界一致。
• 该方法隐式地执行多项式逼近，避免显式最优多项式逼近，同时仍实现最优样本复杂度。
• 理论分析表明，误差界中的二阶项在熵泛函下为 O(n^ε / √S)，接近最优。
• 该框架具有普遍性：同一LMM估计器可用于估计多种对称泛函（如熵、幂和、支撑集大小），并实现最优性能。