[论文解读] Efficient two-sample functional estimation and the super-oracle phenomenon

Thomas B. Berrett, Richard J. Samworth|arXiv (Cornell University)|Apr 18, 2019

Statistical Methods and Inference参考文献 28被引用 10

一句话总结

本文提出了一种用于两样本积分泛函（如未知概率密度之间的散度）的加权最近邻估计器。它建立了渐近效率和中心极限定理，表明该估计器在最坏情况下的表现可优于已知真实密度值的oracle估计器——这一现象被称为“超oracle”效应。

ABSTRACT

We consider the estimation of two-sample integral functionals, of the type that occur naturally, for example, when the object of interest is a divergence between unknown probability densities. Our first main result is that, in wide generality, a weighted nearest neighbour estimator is efficient, in the sense of achieving the local asymptotic minimax lower bound. Moreover, we also prove a corresponding central limit theorem, which facilitates the construction of asymptotically valid confidence intervals for the functional, having asymptotically minimal width. One interesting consequence of our results is the discovery that, for certain functionals, the worst-case performance of our estimator may improve on that of the natural `oracle' estimator, which is given access to the values of the unknown densities at the observations.

研究动机与目标

• 开发一种用于两样本积分泛函（如密度散度估计中出现的泛函）的统计高效估计器。
• 为所提出的估计器建立理论保证，特别是渐近效率和中心极限定理。
• 研究该估计器在最坏情况下的性能是否可优于已知真实密度值的oracle估计器。
• 实现对感兴趣泛函的置信区间的构造，且其渐近宽度达到最小。

提出的方法

• 提出一种专用于两样本积分泛函的加权最近邻估计器。
• 推导出估计器达到局部渐近最小最大下界的条件，从而建立其渐近效率。
• 为估计器建立中心极限定理，从而可构造渐近有效的置信区间。
• 分析估计器的最坏情况风险，并与oracle估计器的性能进行比较。
• 使用非参数技术和渐近理论推导有限样本近似和极限分布。
• 将估计器应用于涉及未知密度之间散度的泛函，如Kullback-Leibler散度或f-散度。

实验结果

研究问题

• RQ1 加权最近邻估计器能否在两样本积分泛函上实现渐近效率？
• RQ2 所提出的估计器是否满足中心极限定理，从而可通过置信区间实现有效推断？
• RQ3 在何种条件下，估计器的最坏情况性能可超过oracle估计器？
• RQ4 当真实密度在观测点处已知时，估计器的性能与oracle估计器相比如何？
• RQ5 该估计框架中观察到的“超oracle”现象的理论依据是什么？

主要发现

• 所提出的加权最近邻估计器具有渐近效率，对一大类两样本积分泛函达到了局部渐近最小最大下界。
• 为估计器建立了中心极限定理，从而可构造渐近有效且宽度渐近最小的置信区间。
• 估计器表现出“超oracle”现象，即其最坏情况风险可严格小于已知真实密度值的oracle估计器。
• 这种超oracle行为出现在某些泛函中，表明在最坏情况场景下，非参数估计可优于参数oracle基准。
• 结果在一般正则性条件下成立，使该方法广泛适用于散度及其他积分泛函。
• 理论框架支持实际推断，包括具有最优渐近性质的区间估计。