[論文レビュー] Exponential Concentration of a Density Functional Estimator

Shashank Singh, Barnabás P óczos|arXiv (Cornell University)|Mar 28, 2016

Control Systems and Identification参考文献 25被引用数 11

ひとこと要約

本稿では、エントロピー、ダイバージェンス、相互情報量、およびそれらの条件付きバージョンを含む連続確率密度関数の積分関数へのプラグイン推定量を提案する。カーネル密度推定とアンダースムージングを用いることで、収束速度 $ O(n^{-\beta/(\beta+d)}) $ を確立し、推定量がその平均の周囲に指数的集中することを証明した。これにより、複数の推定に対する有限標本の信頼区間が可能となり、条件付き独立性検定やロバストな統計的推論において重要となる。

ABSTRACT

We analyze a plug-in estimator for a large class of integral functionals of one or more continuous probability densities. This class includes important families of entropy, divergence, mutual information, and their conditional versions. For densities on the $d$-dimensional unit cube $[0,1]^d$ that lie in a $β$-Hölder smoothness class, we prove our estimator converges at the rate $O \left( n^{-\fracβ{β+ d}} ight)$. Furthermore, we prove the estimator is exponentially concentrated about its mean, whereas most previous related results have proven only expected error bounds on estimators.

研究の動機と目的

• 一般の積分関数への非パラメトリック推定量の開発、特にエントロピー、ダイバージェンス、相互情報量を含む。
• 推定量の統計的性能、特に収束速度と有限標本における集中性の分析。
• 推定量の指数的集中境界の確立により、複数の関数的推定に対する同時に有効な信頼保証の実現。
• Rényi-α 条件付き相互情報量（CMI）を含む条件付き密度関数的推定量への分析の拡張。これは因果的発見やベイジアンネットワーク学習において重要である。
• タイプI誤り確率が有界である必要がある応用、例えば条件付き独立性検定において理論的基盤を提供すること。

提案手法

• i.i.d.標本から結合密度および周辺密度を推定するために、アンダースムージングを用いたカーネル密度推定（KDE）を適用するプラグイン推定量を用いる。
• 関数的推定量に使用される密度推定量の独立性を保証するため、ミラー型KDEを採用。これにより、McDiarmidの不等式による分散解析が可能になる。
• 平均値の定理とホルダーの不等式を用いて、関数的推定量のバイアスを密度推定誤差の観点から評価する。
• 関数的推定量が1つのデータポイントの変化にどれほど敏感かを分析し、McDiarmidの不等式を用いて分散の上限を導出する。
• 有界差分不等式を用いて指数的集中を確立し、$ \mathbb{P}(|F(\hat{p}) - F(p)| > \varepsilon) \leq 2\exp(-\varepsilon^2 n / (4C_V^2)) $ を示す。ここで $ C_V $ はカーネルおよび関数的パラメータに依存する。
• 一般の集中性結果をRényi-α CMIに適用し、カーネルノルムおよび $ \alpha $, $ \kappa_1 $, $ \kappa_2 $ の関数として明示的な $ C_V $ を導出する。

実験結果

リサーチクエスチョン

• RQ1 ホルダー滑らかさを持つ密度関数に対して、一般の密度関数的推定量の収束速度は何か？
• RQ2 このような推定量に対して指数的集中境界を確立できるか。これにより有限標本の信頼区間が得られるか？
• RQ3 Rényi-α 条件付き相互情報量のような条件付き関数的推定量に対して、推定量はどのように性能を発揮するか？
• RQ4 バイアスと分散のトレードオフは何か。アンダースムージングはこのトレードオフにどのように影響するか？
• RQ5 集中不等式を用いて、条件付き独立性検定のような応用でタイプI誤りを有界に保つために、複数の関数的推定に対して同時に精度保証を実現できるか？

主な発見

• 密度関数が $[0,1]^d$ 上の $ \beta $-ホルダークラスに属する場合、推定量は収束速度 $ O(n^{-\beta/(\beta+d)}) $ を達成する。$ \beta < d $ のとき、これはパラメトリックレートより遅いが、与えられた滑らかさ仮定下で最適である。
• 推定量はその平均の周囲に指数的集中しており、$ \mathbb{P}(|F(\hat{p}) - F(p)| > \varepsilon) \leq 2\exp(-\varepsilon^2 n / (4C_V^2)) $ を満たす。これは、一般の密度関数的推定量に対して、以前に確立されていなかった結果である。
• Rényi-α 条件付き相互情報量に対しては、分散定数 $ C_V $ が $ \kappa^* \|K\|_1^{d_x + d_y + d_z} $ の形で明示的に評価可能であり、$ \kappa^* $ は $ \alpha $, $ \kappa_1 $, $ \kappa_2 $ に依存する。これにより実用的な信頼区間が可能になる。
• バイアスは $ O(h^\beta + h^{2\beta} + 1/(nh^d)) $ で抑えられ、最適なバンド幅選択により、上記の収束速度が達成される。
• ユニオンバウンドを用いることで、条件付き独立性検定など、タイプI誤りを有界に保つ応用において、複数の推定に対する同時に有効な信頼区間が可能になる。
• 誤差を周辺推定誤差と条件付き推定誤差に分解し、三角不等式と平均値定理を適用することで、一般の条件付き密度関数的推定量への分析を拡張した。