[論文レビュー] Estimation of entropy-type integral functionals

David Källberg, Oleg Seleznjev|arXiv (Cornell University)|Sep 12, 2012

Statistical Methods and Inference参考文献 15被引用数 8

ひとこと要約

本稿では、2つの独立な標本からのε近傍ペアを用いて、エントロピー型積分関数型（Rényiエントロピー、2次発散など）のU統計量推定量を提案する。滑らかさと可積分性の弱い条件のもとで、推定量は一貫性と漸近正規性を示すことが示され、密度の正則性が低い場合でも成立し、収束速度は滑らかさクラスに適応可能である。

ABSTRACT

Entropy-type integral functionals of densities are widely used in mathematical statistics, information theory, and computer science. Examples include measures of closeness between distributions (e.g., density power divergence) and uncertainty characteristics for a random variable (e.g., Rényi entropy). In this paper, we study U-statistic estimators for a class of such functionals. The estimators are based on epsilon-close vector observations in the corresponding independent and identically distributed samples. We prove asymptotic properties of the estimators (consistency and asymptotic normality) under mild integrability and smoothness conditions for the densities. The results can be applied in diverse problems in mathematical statistics and computer science (e.g., distribution identification problems, approximate matching for random databases, two-sample problems).

研究の動機と目的

• Rényiエントロピーおよび2次発散を含む広範なエントロピー型積分関数型の、一貫性と漸近正規性を持つ推定量の開発。
• 既存のU統計量推定量の結果を、基礎密度の滑らかさ仮定を最小限に抑えた2標本設定へと拡張すること。
• 密度のホルダー滑らかさ指数 $ \alpha $ に基づく収束速度と、$ q(\textbf{a}) = a_0 q_{2,0} + a_1 q_{1,1} + a_2 q_{0,2} $ の形をした2次関数型の漸近正規性の確立。ここで $ q_{k_1,k_2} = \int p_X^{k_1} p_Y^{k_2} \, dx $ である。
• 密度の正則性が低い（例：$ \alpha \leq d/4 $）場合でも、収束速度が $ \sqrt{n} $ より遅くなる可能性があるが、本手法がそのような状況においても一貫性と漸近正規性を保つことの証明。

提案手法

• 2つの独立標本からの、$ \|x - y\| < \epsilon $ を満たすε近傍ペアに基づくU統計量推定量を構築する。
• 標本サイズに依存する核関数を持つU統計量の漸近的性質を活用し、ε近傍ペアの経験的頻度を、元の積分関数型の代理として用いる。
• 滑らかさを考慮した密度下での推定量の期待値 $ \tilde{q}_\epsilon $ を用いてバイアス補正を施し、バイアス項 $ \tilde{q}_\epsilon - q $ を制御する。
• 推定量を確率的フラクチュエーション項とバイアス項に分解し、スラツキーの定理およびU統計量の中心極限定理を適用することで、漸近正規性を確立する。
• バイアス $ \sim \epsilon^{2\alpha} $ と分散 $ \sim n^{-1} \epsilon^{-d} $ をバランスさせることで収束速度を導出する。ここで $ \alpha $ は密度のホルダー滑らかさ指数である。
• ε-球の体積 $ b_\epsilon(d) = \epsilon^d b_1(d) $ を用いてU統計量を正規化し、漸近正規性のための適切なスケーリングを保証する。

実験結果

リサーチクエスチョン

• RQ1 密度の滑らかさに弱い仮定をおく条件下でも、ε近傍ペアに基づくU統計量推定量がエントロピー型関数型に対して一貫性と漸近正規性を達成できるか。
• RQ2 推定量の収束速度は、密度のホルダー滑らかさ $ \alpha $ と次元 $ d $ にどのように依存するか。
• RQ3 本手法は、正則性が低い密度（例：$ \alpha \leq d/4 $）に対しても、一貫性と漸近正規性を保証できるか。
• RQ4 バンド幅 $ \epsilon $ が2次関数型 $ q(\textbf{a}) $ の推定におけるバイアス-バリアンストレードオフに与える影響は何か。
• RQ5 $ n\epsilon^d \to 0 $ である場合でも、推定量の漸近正規性が成立するか。これは、先行研究で要請されていた条件よりも弱い。

主な発見

• 滑らかさと可積分性の弱い条件のもとで、密度のホルダー滑らかさ $ \alpha > d/4 $ であっても、推定量 $ \tilde{Q}_{\mathbf{n}} $ は $ q_{\mathbf{k}} $ および $ q(\textbf{a}) $ に対して一貫性を示す。
• $ \epsilon \sim c n^{-2/((1+\gamma)d)} $ に対して $ 0 < \gamma < 1 $ のとき、$ q(\textbf{a}) $ の漸近正規性が成立し、$ n^{\gamma/(1+\gamma)} c^{d/2} (\tilde{Q}_{\mathbf{n}} - q) \xrightarrow{D} N(0, \eta) $ が成り立つ。
• バイアス項 $ |\tilde{q}_\epsilon - q| $ は $ C \epsilon^{2\alpha} $ で有界であり、適切な $ \epsilon $-レートのもとで、$ \mathbf{n} \to \infty $ のときバイアスは消えるため、漸近正規性が成立する。
• $ \epsilon \sim L(n)^{2/d} n^{-2/d} $ のとき、$ L(n) |\tilde{q}_\epsilon - q| \to 0 $ が成り立ち、このゆっくり減少する $ \epsilon $-系列のもとで、$ \tilde{Q}_{\mathbf{n}} $ の漸近正規性が成立する。
• 先行研究（例：BickelとRitov、GinéとNickl）が要求していた強い微分可能性とは異なり、より弱い滑らかさ仮定のもとで、一貫性と漸近正規性を達成する。
• 漸近分散 $ \eta $ は、U統計量の正規化された分散の極限から導出され、$ n^2 \epsilon^d \binom{n_3}{2}^{-2} b_\epsilon(d)^{-2} \sigma_{\mathbf{n}}^2 \to \eta $ の収束が、$ n\epsilon^d \to \beta $ を要請しないで成立する。