[論文レビュー] Estimation of Rényi Entropy and Mutual Information Based on Generalized Nearest-Neighbor Graphs

Dávid Pál, Barnabás Póczos+1 more|arXiv (Cornell University)|Mar 9, 2010

Bayesian Methods and Mixture Models参考文献 38被引用数 92

ひとこと要約

本稿では、一般化近傍グラフと経験コプูลを用いた、Rényiエントロピーおよび相互情報量の新しい非パrametric推定量を提案する。Lipschitz密度仮定の下で、確率的収束の一致性を確立し、有限標本における高確率誤差境界を提供する。これは、k-NNグラフを用いたRényiエントロピー推定における収束速度解析の初の試みである。

ABSTRACT

We present simple and computationally efficient nonparametric estimators of Rényi entropy and mutual information based on an i.i.d. sample drawn from an unknown, absolutely continuous distribution over $\R^d$. The estimators are calculated as the sum of $p$-th powers of the Euclidean lengths of the edges of the `generalized nearest-neighbor' graph of the sample and the empirical copula of the sample respectively. For the first time, we prove the almost sure consistency of these estimators and upper bounds on their rates of convergence, the latter of which under the assumption that the density underlying the sample is Lipschitz continuous. Experiments demonstrate their usefulness in independent subspace analysis.

研究の動機と目的

• 密度推定に依存せずに、計算的に効率的な非パrametricなRényiエントロピーおよび相互情報量推定量の開発。
• k-NNに基づくRényiエントロピー推定量の誤りを是正し、厳密に一致する収束性を証明すること。先行研究の証明における欠陥を是正する。
• Lipschitz密度条件の下で、Rényiエントロピー推定における、初めての有限標本高確率誤差境界（収束速度）を確立すること。
• 経験コプール変換を介してk-NNグラフアプローチを相互情報量推定に拡張し、d ≥ 3およびα ∈ (1/2, 1)の下で一貫性を証明すること。
• 再利用可能性と並列処理可能性に起因し、複数のα値に対してMSTおよびTSPと比較してk-NNグラフが計算上の優位性を示すことを示すこと。

提案手法

• 各点がそのk個の近隣点の任意の部分集合に接続する一般化k-NNグラフにおいて、エッジ長のp乗和を用いてRényiエントロピーを推定する。
• 元のi.i.d.標本を単位立方体に経験コプール変換することで、変換後のデータ上のグラフ構造を用いて相互情報量を推定可能にする。
• 距離差の差分をバウンディングするため、摂動解析を用い、Lipschitz連続性と三角不等式に依存する。
• 有界なサポートとα ∈ (0,1)の下で、Borel-Cantelliの補題をδ = 1/n²で適用し、エントロピー推定量の確率的収束の一貫性を確立する。
• 集中不等式と摂動補題を用いて高確率誤差境界を導出し、p（すなわちα = 1 - p/d）に応じて異なる収束速度を得る。
• コプール変換と一般化k-NNグラフ構造を組み合わせることで、相互情報量推定量の一貫性を証明する。既知のコプール収束結果を活用する。

実験結果

リサーチクエスチョン

• RQ1 k-NNグラフに基づく推定量は、Rényiエントロピー推定において確率的収束の一貫性を達成できるか。また、誤った定理に依存せずに、厳密に証明可能か。
• RQ2 Lipschitz密度仮定の下で、k-NNグラフを用いたRényiエントロピー推定における有限標本収束速度は何か。
• RQ3 k-NNのk番目の近隣点に限定しない一般化k-NNグラフ（より多くの近隣点に接続）を用いることで、推定精度および収束速度にどのような影響を与えるか。
• RQ4 経験コプールを介してk-NNグラフフレームワークを相互情報量推定に拡張可能か。この拡張のための一貫性条件は何か。
• RQ5 複数のα値において、MSTおよびTSPと比較してk-NNグラフがRényiエントロピーおよび相互情報量推定において計算上の利点を示すか。

主な発見

• 提案されたRényiエントロピー推定量は、有界なサポートの下でα ∈ (0,1)に対して確率的収束の一貫性を示し、先行研究における誤りを是正する厳密な証明を提供する。
• 本稿は、Lipschitz密度条件の下で、Rényiエントロピー推定における、初めての有限標本高確率誤差境界を確立する。収束速度は次元dおよびパrameter p = d(1−α)に依存し、0 < p < d−1の場合はO(n^{-(d−p)/(d(2d−p))})、d−1 ≤ p < dの場合はO(n^{-(d−p)/(d(d+1))})である。
• 0 < p < 1の場合は誤差境界がO(n^{p/d − p/2}(log(1/δ))^{p/2})に比例し、1 ≤ p < dの場合はO(n^{p/d − 1/2}(log(1/δ))^{1/2})に比例する。
• k-NNグラフと経験コプールを用いた相互情報量推定量は、d ≥ 3およびα ∈ (1/2, 1)の下で強収束性を示し、MSTおよびTSPを用いた先行研究を拡張する。
• k-NNグラフフレームワークは、p乗変換の単調性に起因し、MSTおよびTSPとは異なり、複数のα値に対してグラフを再計算せずに効率的な推定が可能である。
• 数値実験の結果、各点をk個のすべての近隣点に接続する一般化k-NN（一般化k-NN）の方が、k番目の近隣点にのみ接続する場合に比べ、収束速度が向上することが示唆されている。