[論文レビュー] Nonparametric Ensemble Estimation of Distributional Functionals

Kevin R. Moon, Kumar Sricharan+2 more|arXiv (Cornell University)|Jan 26, 2016

Bayesian Methods and Mixture Models参考文献 39被引用数 12

ひとこと要約

本稿では、エントロピーおよびRényi-αダイバージェンスなどの分布関数 functional に対して、サポート境界の事前知識が不要な非パラメトリックアンサンブル推定量を提案する。滑らかさの条件下で、パラメトリックな平均二乗誤差（MSE）収束速度を達成する。この手法は最適重み付けアンサンブル推定を用い、特に高次元において、標準的なカーネルプラグイン推定量を上回る性能を示す。

ABSTRACT

Distributional functionals are integral functionals of one or more probability distributions. Distributional functionals include information measures such as entropy, mutual information, and divergence. Recent work has focused on the problem of nonparametric estimation of entropy and information divergence functionals. Many existing approaches are restrictive in their assumptions on the density support set or require difficult calculations at the support boundary which must be known a priori. The MSE convergence rate of a leave-one-out kernel density plug-in divergence functional estimator for general bounded density support sets is derived where knowledge of the support boundary is not required. The theory of optimally weighted ensemble estimation is generalized to derive two estimators that achieve the parametric rate when the densities are sufficiently smooth. The asymptotic distribution of these estimators and some guidelines for tuning parameter selection are provided. Based on the theory, an empirical estimator of R\'enyi-$\alpha$ divergence is proposed that outperforms the standard kernel density plug-in estimator, especially in high dimension. The estimators are shown to be robust to the choice of tuning parameters.

研究の動機と目的

• 分布関数 functional に対する既存の非パラメトリック推定量が、密度のサポートに関する制限付き仮定や境界位置の知識を必要とするという限界を是正すること。
• 密度が十分に滑らかである場合に、サポート境界の事前知識が不要な非パラメトリックアンサンブル推定量が、パラメトリックなMSE収束速度を達成できることを確立すること。
• 最適重み付けアンサンブル推定の理論を分布関数 functional へ一般化し、エントロピーおよびダイバージェンス測度の改善推定を可能とすること。
• チューニングパラメータ選択の実用的ガイドラインを提供し、統計的推論のための推定量の漸近的分布を導出すること。
• 特に高次元設定において、標準的なカーネル密度プラグイン法を上回る性能を示す、Rényi-αダイバージェンスの経験的推定量を提案すること。

提案手法

• 一般の有界サポート集合上でのダイバージェンス関数 functional に対して、leave-one-outカーネル密度プラグイン推定量の平均二乗誤差（MSE）収束速度を導出。サポート境界の知識が不要であることを前提とする。
• 最適重み付けアンサンブル推定理論を一般化し、滑らかさが十分に高い場合にパラメトリックなMSEレートを達成する2つの新しい推定量を構築する。
• カーネル密度推定にleave-one-out補正を適用し、特にサポート境界付近での関数推定におけるバイアスを低減する。
• 複数のカーネル密度推定値を最適な重み付け法で組み合わせ、分散を最小化しつつバイアスの制御を維持する。
• 提案推定量の漸近的正規分布を導出し、信頼区間などの推論的応用を可能とする。
• アンサンブルフレームワークに基づく経験的Rényi-αダイバージェンス推定量を提案し、チューニングパラメータの選択に対して頑健であることを示す。

実験結果

リサーチクエスチョン

• RQ1 サポート境界の知識が不要な非パラメトリックアンサンブル推定が、分布関数 functional に対してパラメトリックなMSE収束速度を達成できるか？
• RQ2 最適重み付けアンサンブル推定をどのように一般化すれば、エントロピーおよびダイバージェンス関数 functional の推定を改善できるか？
• RQ3 提案されたアンサンブル推定量の漸近的分布は何か？統計的推論にどのように利用できるか？
• RQ4 提案されたRényi-αダイバージェンス推定量は、高次元設定において標準的なカーネルプラグイン推定量と比較して、どのように性能が異なるか？
• RQ5 実用的状況において、チューニングパラメータの選択にどの程度頑健であるか？

主な発見

• 提案されたアンサンブル推定量は、密度が十分に滑らかである限り、サポート境界の事前知識がなくてもパラメトリックな平均二乗誤差（MSE）収束速度を達成する。
• 推定量の漸近的分布が導出され、分布関数 functional の信頼区間や仮説検定の構築が可能になる。
• 経験的Rényi-αダイバージェンス推定量は、特に高次元データ設定において、標準的なカーネル密度プラグイン推定量を上回る性能を示す。
• チューニングパラメータの選択に対して推定量が頑健であり、バンド幅やカーネルの選択に対する感度が低減する。
• 理論的枠組みにより、一般の有界サポート集合上でも非パラメトリック推定が可能となり、従来のサポート知識を仮定する必要がなくなる。