[論文レビュー] Efficient two-sample functional estimation and the super-oracle phenomenon

Thomas B. Berrett, Richard J. Samworth|arXiv (Cornell University)|Apr 18, 2019

Statistical Methods and Inference参考文献 28被引用数 10

ひとこと要約

本稿では、未知の確率密度間の発散などの二標本積分関数への重み付き近傍推定量を提案する。漸近的効率性と中心極限定理を確立し、最悪ケースにおいてもオラクル推定量を上回る性能を示すという現象（「スーパー・オラクル効果」と呼ばれる）を示している。

ABSTRACT

We consider the estimation of two-sample integral functionals, of the type that occur naturally, for example, when the object of interest is a divergence between unknown probability densities. Our first main result is that, in wide generality, a weighted nearest neighbour estimator is efficient, in the sense of achieving the local asymptotic minimax lower bound. Moreover, we also prove a corresponding central limit theorem, which facilitates the construction of asymptotically valid confidence intervals for the functional, having asymptotically minimal width. One interesting consequence of our results is the discovery that, for certain functionals, the worst-case performance of our estimator may improve on that of the natural `oracle' estimator, which is given access to the values of the unknown densities at the observations.

研究の動機と目的

• 未知の確率密度間の発散推定などに生じる二標本積分関数に対する統計的に効率的な推定量の開発。
• 提案された推定量に対して、特に漸近的効率性と中心極限定理という理論的保証を確立すること。
• 真の密度値が観測点で入手可能であるオラクル推定量の性能を上回る可能性がある、推定量の最悪ケース性能を調査すること。
• 関心の関数に対して漸近的に最小幅の信頼区間を構築することを可能にする。

提案手法

• 二標本積分関数に特化した重み付き近傍推定量を提案する。
• 推定量が局所的漸近的ミニマックス下界に達するための条件を導出し、漸近的効率性を確立する。
• 推定量に対して中心極限定理を確立し、漸近的に有効な信頼区間の構築を可能にする。
• 推定量の最悪ケースリスクを分析し、オラクル推定量の性能と比較する。
• 非パラメトリック手法と漸近的理論を用いて、有限標本近似と極限分布を導出する。
• Kullback-Leibler 発散や f-発散などの、未知密度間の発散を含む関数に推定量を適用する。

実験結果

リサーチクエスチョン

• RQ1 重み付き近傍推定量は、二標本積分関数に対して漸近的効率性を達成できるか？
• RQ2 提案された推定量は中心極限定理を満たすか？ これにより信頼区間による有効な推論が可能か？
• RQ3 どのような条件下で、推定量の最悪ケース性能がオラクル推定量を上回るか？
• RQ4 真の密度が観測点で入手可能である場合、推定量の性能はオラクル推定量と比べてどうなるか？
• RQ5 この推定枠組みで観察された「スーパー・オラクル」現象の理論的根拠は何か？

主な発見

• 提案された重み付き近傍推定量は、広範な二標本積分関数クラスに対して、局所的漸近的ミニマックス下界に達するという漸近的効率性を示す。
• 推定量に対して中心極限定理が確立され、漸近的に有効な信頼区間（漸近的に最小幅）の構築が可能である。
• 推定量は「スーパー・オラクル」現象を示し、真の密度値へのアクセスを持つオラクル推定量よりも、最悪ケースリスクが厳密に小さくなることがある。
• このスーパー・オラクル行動は、特定の関数に対して発生し、最悪ケースにおいて非パラメトリック推定がパラメトリックなオラクルベンチマークを上回ることを示唆している。
• 一般的な正則性条件のもとで結果が成り立つため、本手法は発散やその他の積分関数へ広く適用可能である。
• 理論的枠組みは、最適な漸近的性質を有する実用的推論（区間推定など）を支援する。