[論文レビュー] Nonparametric Estimation of Renyi Divergence and Friends

Akshay Krishnamurthy, Kirthevasan Kandasamy+2 more|arXiv (Cornell University)|Feb 12, 2014

Statistical Mechanics and Entropy参考文献 27被引用数 41

ひとこと要約

本稿では、von Mises展開に基づく補正付きプラグイン推定量を用いて、連続確率密度間のL2、Rényi-α、Tsallis-α発散を非パラメトリックに推定する推定量を提案する。密度の滑らかさ $ s > d/4 $ のとき、これらの推定量がパラメトリックな収束速度 $ n^{-1/2} $ を達成することを確立し、最良のレートを達成するための臨界滑らかさ閾値として $ d/4 $ が確認される最小上限境界を導出する。

ABSTRACT

We consider nonparametric estimation of L2, Renyi-α and Tsallis-α divergences between continuous distributions. Our approach is to construct estimators for particular integral functionals of two densities and translate them into divergence estimators. For the integral functionals, our estimators are based on corrections of a preliminary plug-in estimator. We show that these estimators achieve the parametric convergence rate of n−1/2 when the densities’ smoothness, s, are both at least d/4 where d is the dimension. We also derive minimax lower bounds for this problem which confirm that s>d/4 is necessary to achieve the n−1/2 rate of convergence. We validate our theoretical guarantees with a number of simulations.

研究の動機と目的

• 連続分布間のL2、Rényi-α、Tsallis-α発散に対する非パラメトリック推定量の開発。
• 密度関数のHölder滑らかさ仮定の下でのこれらの推定量の収束速度の確立。
• 提案された推定量の統計的最適性を特徴付けるために、最小上限下界の導出。
• パラメトリックな $ n^{-1/2} $ 収束速度を達成するための臨界滑らかさ閾値 $ s > d/4 $ の特定。
• 理論的結果の数値的妥当性を確認するための数値シミュレーションの実施。

提案手法

• L2、Rényi-α、Tsallis-α発散を統一する積分関数 $ T(p,q) = \int p^\alpha(x) q^\beta(x) \, d\mu(x) $ の推定量の構築。
• 発散関数 functional のvon Mises展開における高階項の推定を用いた補正付きプラグイン推定量の使用。
• 初期のプラグイン推定量の収束速度を向上させるために、一次および二次の補正を適用。
• 密度差の観点から発散関数の関数的テイラー展開（von Mises展開）を用いて収束速度の確立。
• Hölder滑らかさを持つ密度関数の上でのテストフレームワークと確率的変換を用いて最小上限下界を導出。
• 推定プロセス内の途中関数の有界性と連続性を保証するため、切り捨てられたカーネル密度推定量の使用。

実験結果

リサーチクエスチョン

• RQ1 Rényi-αおよびTsallis-α発散の非パラメトリック推定における最適収束速度は何か？
• RQ2 プラグイン推定量の補正により、ナイーブ推定量の $ n^{-s/(2s+d)} $ 速度を超える収束速度が達成可能か？
• RQ3 パラメトリックな $ n^{-1/2} $ 速度を達成するための最小滑らかさ $ s $ は何か？
• RQ4 滑らかさ $ s > d/4 $ の下で $ n^{-1/2} $ 速度が改善不能であり、$ d/4 $ が臨界閾値であるか？
• RQ5 Hölder滑らかさ仮定の下で、これらの発散に対する最小上限下界を導出可能か？

主な発見

• 補正付きプラグイン推定量は収束速度 $ n^{-\min\{3s/(2s+d), 1/2\}} $ を達成し、$ s > d/4 $ のときパラメトリックな $ n^{-1/2} $ 速度に到達する。
• 推定速度の最小上限下界は $ s \leq d/4 $ のとき $ \Omega(n^{-4s/(4s+d)}) $、$ s > d/4 $ のとき $ \Omega(n^{-1/2}) $ であり、滑らかさ領域における提案推定量の最適性が確認される。
• パラメトリックな $ n^{-1/2} $ 速度を達成するための臨界滑らかさ閾値は $ d/4 $ であり、それ未満では速度が $ n^{-s/(2s+d)} $ に低下する。
• 一次補正付き推定量は計算的に洗練されており、$ n^{-\min\{2s/(2s+d), 1/2\}} $ の収束速度を達成し、ナイーブプラグイン推定量の $ n^{-s/(2s+d)} $ 速度を上回る。
• 理論的結果から、$ d/4 $ が収束速度の鋭い閾値であることが確認され、$ s \leq d/4 $ のとき、$ n^{-1/2} $ より速い速度はいかなる推定量でも達成できない。
• 数値的シミュレーションにより理論的収束速度の妥当性と、ナイーブプラグイン法に比べた補正推定量の優位性が検証された。