[論文レビュー] On Estimating $L_2^2$ Divergence

Akshay Krishnamurthy, Kirthevasan Kandasamy+2 more|arXiv (Cornell University)|Oct 30, 2014

Statistical Methods and Inference参考文献 11被引用数 2

ひとこと要約

本稿は、2つの連続確率密度間の$L_2^2$距離のカーネルベースのU統計量推定量について、包括的な理論的分析を提供する。滑らかさの条件下では、推定量はパラメトリックな$\sqrt{n}$-一貫性収束率を達成し、漸近的に正規分布に従い、漸近的信頼区間を構築可能であり、ミニマックス最適性を満たす。非パラメトリック設定下での有限標本および漸近的性質の完全な特徴付けは、本稿が初めてである。

ABSTRACT

We give a comprehensive theoretical characterization of a nonparametric estimator for the $L_2^2$ divergence between two continuous distributions. We first bound the rate of convergence of our estimator, showing that it is $\sqrt{n}$-consistent provided the densities are sufficiently smooth. In this smooth regime, we then show that our estimator is asymptotically normal, construct asymptotic confidence intervals, and establish a Berry-Esséen style inequality characterizing the rate of convergence to normality. We also show that this estimator is minimax optimal.

研究の動機と目的

• 2つの連続密度間の$L_2^2$距離の非パラメトリック推定量の完全な理論的特徴付けを提供すること。
• 平滑性仮定をパrameter $\beta$ でパラメータ化した場合の推定量の収束速度を確立すること。
• 漸近正規性の証明と、推論のための漸近的信頼区間の導出。
• 正規分布への収束速度を定量化するベリー＝エッシンスタイルの不等式の確立。
• 情報理論的技術を用いて推定量のミニマックス最適性を示し、下界を一致させる。

提案手法

• 推定量は、対称カーネル関数を用いて2つの密度間の$L_2^2$距離を推定するカーネルベースの多標本U統計量である。
• 分析は、特に積分関数推定におけるバイアスと分散の制御に依存する非パラメトリック関数推定技術に基づく。
• 主な技術的貢献は、推定量およびその分散推定量のバイアスをきめ細かく制御することで、ベリー＝エッシンスタイルの不等式を導出することにある。
• ミニマックス下界は情報理論的技術を用いて確立され、推定量の収束速度を向上させることは不可能であることが示された。
• バンド幅選択によるアンダースモoothingを用いることで、$\beta \geq d/4$ のとき、パラメトリックな$n^{-1}$収束速度を達成する。
• 推定量の漸近正規性とその漸近的分散の一致推定を用いて、漸近的信頼区間を構築する。

実験結果

リサーチクエスチョン

• RQ1 平滑性仮定下で、カーネルベースのU統計量推定量の$L_2^2$距離推定における収束速度は何か？
• RQ2 どのような条件下で推定量は漸近的に正規分布に従い、正規分布への収束はどの程度の速さで達成されるか？
• RQ3 有効な被覆性を持つ漸近的信頼区間を構築できるか？
• RQ4 推定量はミニマックス最適か？ また、推定誤差の根本的な下界は何か？
• RQ5 固定次元の漸近的解析では捉えきれないが、高次元設定では推定量の性能はどのように劣化するか？

主な発見

• 密度が十分に滑らかである、すなわち$\beta \geq d/4$ のとき、推定量は$\sqrt{n}$-一貫性収束率を達成し、パラメトリックな$n^{-1}$二乗誤差率を示す。
• $\beta > d/4$ のとき、推定量は漸近的に正規分布に従い、有効な被覆性を持つ漸近的信頼区間を構築可能である。
• ベリー＝エッシンスタイルの不等式が確立され、$\beta > d/4$ の設定下で正規分布への収束速度が$O(n^{-1/6})$ であることが定量的に示された。
• 一致する下界を用いた解析により、推定量がミニマックス最適であることが示された。これは、与えられた平滑性仮定下で達成可能な最良の収束速度に到達していることを意味する。
• シミュレーションにより、低次元では$\sqrt{n}$-収束が確認されたが、高次元では著しい遅延が観察され、固定次元の解析では捉えきれない次元の呪いの兆候が示された。
• 提案された信頼区間は低次元では正確であったが、中程度の次元では正規近似への収束が遅いため、信頼性を失う傾向が見られた。