[论文解读] Estimating Certain Integral Probability Metric (IPM) is as Hard as Estimating under the IPM

Tengyuan Liang|arXiv (Cornell University)|Nov 2, 2019

Statistical Methods and Inference参考文献 26被引用 11

一句话总结

本文证明了在积分概率度量（IPM）下，估计两个概率测度之间的IPM在本质上与直接估计测度本身一样困难。对于霍尔德光滑密度和函数类，IPM估计的极小极大最优速率与测度估计的速率在乘法意义下等价，仅相差一个对数因子，这意味着插补估计器在该因子范围内达到极小极大最优。

ABSTRACT

We study the minimax optimal rates for estimating a range of Integral Probability Metrics (IPMs) between two unknown probability measures, based on $n$ independent samples from them. Curiously, we show that estimating the IPM itself between probability measures, is not significantly easier than estimating the probability measures under the IPM. We prove that the minimax optimal rates for these two problems are multiplicatively equivalent, up to a $\log \log (n)/\log (n)$ factor.

研究动机与目标

• 确定从独立同分布样本中估计两个未知概率测度之间积分概率度量（IPM）的极小极大最优速率。
• 研究在IPM下，直接估计IPM是否显著比估计底层概率测度更容易。
• 评估先估计测度再计算IPM的插补估计器的最优性。
• 在密度和函数类满足霍尔德光滑性假设下，建立IPM估计的紧致极小极大上下界。
• 阐明IPM估计的复杂性与底层概率测度及IPM生成函数的光滑性之间的关系。

提出的方法

• 本文通过上确界形式分析IPM估计的极小极大风险：$ d_{\mathcal{F}}(\mu,\nu) = \sup_{f \in \mathcal{F}} \left| \int f d\mu - \int f d\nu \right| $，其中 $ \mathcal{F} $ 为光滑性参数 $ \gamma < d/2 $ 的霍尔德类 $ \mathcal{F}_{\gamma} $。
• 通过在两个测度之间构造检验问题，并利用对偶性论证将IPM与总变差距离关联，推导出IPM估计的极小极大下界。
• 通过使用小波基平滑的经验测度的插补估计器建立上界，其中密度在小波基上截断至层级 $ J $，IPM计算为函数类上期望差的上确界。
• 将误差分解为两部分：来自经验测度的估计误差和来自截断的近似误差，两者均通过小波系数衰减和矩不等式进行有界。
• 选择最优截断层级 $ 2^{dJ} \asymp n^{1/(2\beta/d + 1)} $ 以平衡两项误差，从而得到速率 $ (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} $。
• 分析利用了贝索夫空间 $ \mathsf{B}^{\gamma,\infty}_{\infty} $ 和霍尔德空间 $ \mathsf{C}^{\beta} $ 的性质，基于光滑性参数 $ \beta $ 和 $ \gamma $ 对小波系数进行有界。

实验结果

研究问题

• RQ1 在IPM下，估计两个概率测度之间的IPM是否显著比估计测度本身更容易？
• RQ2 当底层密度属于霍尔德空间 $ \mathcal{G}_{\beta} $ 且IPM由霍尔德类 $ \mathcal{F}_{\gamma} $ 生成时，IPM估计的极小极大最优速率是什么？
• RQ3 非插补估计器能否在IPM估计中实现比插补方法更快的速率？
• RQ4 函数类 $ \mathcal{F}_{\gamma} $ 和密度类 $ \mathcal{G}_{\beta} $ 的光滑性如何影响IPM估计的极小极大速率？
• RQ5 在IPM下，IPM估计与测度估计的极小极大速率之间的精确乘法差距是多少？

主要发现

• IPM $ d_{\mathcal{F}_{\gamma}}(\mu, \nu) $ 估计的极小极大最优速率为 $ (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} $，与在IPM下估计测度的速率在对数因子内一致。
• IPM估计的极小极大下界为 $ \asymp (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} \cdot \frac{\log\log(n \wedge m)}{\log(n \wedge m)} $，表明该问题并不比测度估计显著简单。
• 使用小波平滑经验测度的插补估计器实现了上界 $ (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} $，证明其在 $ \log\log(n)/\log(n) $ 因子范围内达到极小极大最优。
• 当 $ \gamma \geq d/2 $ 时，可达到参数速率 $ n^{-1/2} $，表明估计难度存在相变现象。
• 结果表明，当 $ \gamma < d/2 $ 时，即使使用复杂函数类，任何估计器也无法比插补方法快超过对数因子。
• 在广泛的一类光滑密度和函数类下，IPM估计与测度估计在IPM下的难度等价，揭示了一个基本的统计极限。