[論文レビュー] Statistical Inference for Rényi Entropy Functionals

David Källberg, Nikolai Leonenko+1 more|arXiv (Cornell University)|Mar 25, 2011

Data Management and Algorithms参考文献 6被引用数 5

ひとこと要約

本稿では、i.i.d.標本からのε-近接ベクトル記録を用いて、離散的および連続的分布におけるRényiエントロピー関数へのU統計量ベースの推定器を提案する。一般な条件下で推定器の一致性と漸近正規性を確立し、近似マッチングや画像解析などの応用分野におけるエントロピー型関数への有効な推論を可能にする。

ABSTRACT

Numerous entropy-type characteristics (functionals) generalizing Rényi entropy are widely used in mathematical statistics, physics, information theory, and signal processing for characterizing uncertainty in probability distributions and distribution identification problems. We consider estimators of some entropy (integral) functionals for discrete and continuous distributions based on the number of epsilon-close vector records in the corresponding independent and identically distributed samples from two distributions. The estimators form a triangular scheme of generalized U-statistics. We show the asymptotic properties of these estimators (e.g., consistency and asymptotic normality). The results can be applied in various problems in computer science and mathematical statistics (e.g., approximate matching for random databases, record linkage, image matching).

研究の動機と目的

• 離散的および連続的分布におけるRényiエントロピー関数 $ q_{\mathbf{r}} = \int p_X^{r_1} p_Y^{r_2} dx $ の推定のための統一的フレームワークの構築。
• i.i.d.標本からのε-近接記録に基づくカーネル型推定器の漸近的性質—一致性と漸近正規性—の確立。
• 一般の指数 $ r_1, r_2 \geq 0 $ を持つエントロピー型関数への一般化された二次Rényiエントロピー推定の先行研究の拡張。
• 漸近的信頼区間を用いた、近似マッチング、レコードリンケージ、画像マッチングなどの応用分野における統計的推論の支援。

提案手法

• 確率測度 $ \mathcal{P}_X $ および $ \mathcal{P}_Y $ からの標本における $ \epsilon $-近接観測のインジケータ関数を用いて一般化U統計量 $ Q_{\mathbf{n}} $ を構築する。
• すべての $ r_1 $-部分集合 $ S $ と $ r_2 $-部分集合 $ T $ に対する個々のインジケータの平均として、対称化されたカーネル $ \psi_{\mathbf{n}}(S;T) $ を定義する。
• カーネルの期待値として、$ \epsilon $-一致確率 $ q_{\mathbf{r},\epsilon} = \mathbb{E}[p_{X,\epsilon}^{r_1-1} p_{Y,\epsilon}^{r_2}] $ を導出する。
• Lindeberg-Feller中心極限定理を適用して、正規化された推定器 $ n^{1/2}(\tilde{Q}_{\mathbf{n}} - \tilde{q}_{\mathbf{r},\epsilon}) $ の漸近正規性を示す。
• $ D_\epsilon(x) $ を用いたバイアス分解を用い、$ \tilde{q}_{\mathbf{r},\epsilon} $ と $ q_{\mathbf{r}} $ の差を分析することで収束速度を評価する。
• 密度関数のHölder連続性仮定の下で収束速度を確立し、$ \epsilon $ を標本サイズ $ n $ の関数として選択する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.標本からのε-近接記録統計量を用いて、Rényiエントロピー関数をどのように一貫して推定できるか？
• RQ2 提案されたU統計量推定器の $ q_{\mathbf{r}} $ に対する漸近的分布的性質は何か？
• RQ3 密度関数がHölder連続である場合、バイアスと分散の収束速度はどの程度達成可能か？
• RQ4 推定におけるバイアス-バリアンストレードオフに与える $ \epsilon $ の選択の影響は何か？
• RQ5 実用的な応用において、この推定器を用いてエントロピー関数の漸近的有効な信頼区間を構築できるか？

主な発見

• 提案された推定器 $ \tilde{Q}_{\mathbf{n}} $ は、密度関数にややきつい正則性条件が課せられれば、$ q_{\mathbf{r}} $ に対して一貫性を有する。
• 正規化された推定器 $ n^{1/2}(\tilde{Q}_{\mathbf{n}} - \tilde{q}_{\mathbf{r},\epsilon}) $ は、平均が0で分散が $ \kappa $ の正規確率変数に分布収束し、漸近正規性が確立される。
• $ \alpha < d/2 $ の場合、バイアスとバリアンスの組み合わせのオーダーは $ \mathrm{O}(n^{-2\alpha/(2\alpha + d(1 - 1/r))}) $ となる。ここで $ \alpha $ は密度関数のHölder指数である。
• $ \epsilon \sim c n^{-1/(2\alpha + d(1 - 1/r))} $ のとき、Hölder滑らかさのもとで最適収束速度が達成される。
• $ \alpha = d/2 $ の場合、収束速度は依然として $ \mathrm{O}(n^{-\alpha/(2\alpha + d(1 - 1/r))}) $ であり、推定器は一貫性を保つ。
• $ \alpha > d/2 $ の場合、$ \epsilon \sim L(n) n^{-1/d} $ かつ $ n\epsilon^d \to \infty $ のとき、推定器は一貫性と漸近正規性を保ち、Slutskyの定理を用いて補完する。