[論文レビュー] Ensemble estimators for multivariate entropy estimation

Kumar Sricharan, Dennis Wei+1 more|arXiv (Cornell University)|Mar 26, 2012

Machine Learning and Algorithms参考文献 11被引用数 7

ひとこと要約

本稿では、k-NN やカーネルベース手法などの複数のゆっくり収束する密度汎関数推定器を、最適な重み付きアフィン結合によって組み合わせるアンサンブル推定器を提案する。事前に凸最適化問題を解くことで、次元の呪いの下で標準の $O(T^{-\gamma/d})$ のレートに対し著しく優れたパrametricな平均二乗誤差（MSE）レート $O(T^{-1})$ を達成する。応用例としてエントロピー推定および歪みレート要因推定が挙げられる。

ABSTRACT

The problem of estimation of density functionals like entropy and mutual information has received much attention in the statistics and information theory communities. A large class of estimators of functionals of the probability density suffer from the curse of dimensionality, wherein the mean squared error (MSE) decays increasingly slowly as a function of the sample size $T$ as the dimension $d$ of the samples increases. In particular, the rate is often glacially slow of order $O(T^{-γ/{d}})$, where $γ>0$ is a rate parameter. Examples of such estimators include kernel density estimators, $k$-nearest neighbor ($k$-NN) density estimators, $k$-NN entropy estimators, intrinsic dimension estimators and other examples. In this paper, we propose a weighted affine combination of an ensemble of such estimators, where optimal weights can be chosen such that the weighted estimator converges at a much faster dimension invariant rate of $O(T^{-1})$. Furthermore, we show that these optimal weights can be determined by solving a convex optimization problem which can be performed offline and does not require training data. We illustrate the superior performance of our weighted estimator for two important applications: (i) estimating the Panter-Dite distortion-rate factor and (ii) estimating the Shannon entropy for testing the probability distribution of a random sample.

研究の動機と目的

• 多次元エントロピーおよび関数的推定における次元の呪いに対処すること。ここでMSEレートは次元 $d$ の増加に伴い $O(T^{-\gamma/d})$ に劣化する。
• 訓練データを必要とせず、密度関数の汎関数を複数の推定器で組み合わせる一般化されたフレームワークを構築すること。
• 高次元設定におけるエントロピー推定で、パrametricなMSE収束レート $O(T^{-1})$ を達成すること。
• オンラインチューニングや密度依存パrameterを避けるために、凸プログラミングによるデータに依存しない重み最適化を実現すること。

提案手法

• 条件 $\mathscr{C}.1$ および $\mathscr{C}.2$ を満たす推定器の集合に対して、重み付きアフィン結合を定式化し、バイアス低減と高速収束を確保する。
• 漸近的MSEを最小化する凸最適化問題を解くことで、最適な重みを導出する。この最適化は、真の密度に依存しない。
• 必要な正則性条件を満たす実用的かつ実装可能なアンサンブル構成要素として、一様カーネルプラグイン推定器を用いる。
• パントル＝ディーテ歪みレート要因推定および分布検証のためのシャノンエントロピー検定という2つの主要な応用に、アンサンブル推定器を適用する。
• テイラー展開とモーメント近似を用いて推定器をバイアスと分散に分解し、収束レートを分析する。
• 推定器の分散が $O(1/N)$ に、バイアスが $O(1/M)$ に減少することを確立し、推定プロセスにおけるサンプルサイズ $M$ と $N$ の適切なスケーリング下で、全体のMSEが $O(T^{-1})$ に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 ゆっくり収束する推定器の重み付き結合は、高次元エントロピー推定においてパrametricなMSEレート $O(T^{-1})$ を達成できるか？
• RQ2 訓練データや真の密度の知識がなくても、このようなアンサンブルの最適な重みを事前に計算できるか？
• RQ3 単純な一様カーネルプラグイン推定器は、アンサンブルが加速収束を達成するための必要条件を満たすか？
• RQ4 歪みレート要因推定や分布検定といった実用的応用において、アンサンブル手法の影響は何か？
• RQ5 高次元において、k-NN やカーネル密度推定器といった個々の推定器と比較して、本手法の性能はどのように差異を示すか？

主な発見

• 提案されたアンサンブル推定器は、平均二乗誤差（MSE）レート $O(T^{-1})$ を達成し、次元 $d$ に依存しないパrametricなレートであり、次元の呪いの下で標準の $O(T^{-\gamma/d})$ レートに比べて著しく優れている。
• 最適な重みは、訓練データや密度依存パrameterを必要としない凸最適化問題を解くことで、事前に計算可能であり、オフラインで実現可能である。
• 一様カーネルプラグイン推定器のアンサンブルは、必要な条件 $\mathscr{C}.1$ および $\mathscr{C}.2$ を満たしており、フレームワーク内での使用が正当化される。
• アンサンブル推定器の分散は $O(1/N)$ に、バイアスは $O(1/M)$ に減少し、適切なスケーリング下で全体のMSEが $O(T^{-1})$ に収束する。
• 実験的検証により、パントル＝ディーテ歪みレート要因推定およびランダム標本の分布検証のためのエントロピー推定において、優れた性能を示した。
• 対称カーネルやトリUNCTIONを必要とする複雑な推定器の代替として、シンプルでありながら強力な手法を提供し、同等またはより優れた収束レートを達成する。