[論文レビュー] Estimation of R\\'enyi Entropy and Mutual Information Based on Generalized Nearest-Neighbor Graphs

Dávid Pál, Barnabás Póczos+1 more|arXiv (Cornell University)|Mar 9, 2010

Blind Source Separation Techniques参考文献 39被引用数 73

ひとこと要約

本稿では、一般化近傍グラフと経験コプูล変換を用いて、Rényiエントロピーおよび相互情報量の非パrametric推定量を提案する。Lipschitz密度仮定の下で、確率的収束の一致性を確立し、有限標本における高確率誤差バウンドを提供する。これは、この推定量クラスにおけるRényiエントロピー推定の収束速度解析を初めて行うものである。

ABSTRACT

We present simple and computationally efficient nonparametric estimators of R\\'enyi entropy and mutual information based on an i.i.d. sample drawn from an unknown, absolutely continuous distribution over $\\R^d$. The estimators are calculated as the sum of $p$-th powers of the Euclidean lengths of the edges of the `generalized nearest-neighbor' graph of the sample and the empirical copula of the sample respectively. For the first time, we prove the almost sure consistency of these estimators and upper bounds on their rates of convergence, the latter of which under the assumption that the density underlying the sample is Lipschitz continuous. Experiments demonstrate their usefulness in independent subspace analysis.

研究の動機と目的

• 密度推定に依存しない、計算的に効率的なRényiエントロピーおよび相互情報量の非パrametric推定量の開発。
• k-NNグラフに基づくRényiエントロピー推定量の誤りを是正し、厳密に一致収束性を証明すること。先行研究の証明における欠陥を是正する。
• Lipschitz密度条件の下で、Rényiエントロピー推定のための、初めての有限標本高確率誤差バウンド（収束速度）を確立すること。
• 経験コプールとk-NNグラフを用いて、Rényi相互情報量推定に拡張し、d ≥ 3およびα ∈ (1/2, 1) の下で強い一貫性を証明すること。
• 一般化k-NNグラフ（すべてのk近傍）をMSTやTSPと比較して、複数のα値における再利用可能性に起因する計算効率の優位性を実証すること。

提案手法

• 各点がそのk個の近隣点の任意の部分集合に接続する一般化k-NNグラフにおけるエッジのユークリッド長さのp乗の和としてRényiエントロピーを推定する。ここでp = d(1−α)である。
• 元のi.i.d.標本を単位立方体[0,1]^dに経験コプール変換することで、コプールベースの相互情報量推定を可能にする。
• i.i.d.標本の下で、真のコプールベースのグラフ長と経験コプールベースの長さの差をバウンドするための摂動解析を適用する。
• Helly-BrayやFatou型定理の誤った適用を避けるために、メトリックエントロピーと被覆論法に基づく新しい証明技法を用いて、一貫性と収束速度を確立する。
• 濃度不等式と密度のLipschitz連続性を用いて高確率誤差バウンドを導出し、標本サイズnと次元dの関数として明示的な収束速度を導出する。
• 距離のp乗が単調であることを利用し、p = d(1−α)により異なるα値に対してk-NNグラフ構造が不変であることを示し、複数のα値における効率的な推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一般化k-NNグラフに基づく非パラメトリックRényiエントロピー推定量は、確率的収束の一貫性を示せるか。その場合、どのような条件下で成立するか？
• RQ2 元の密度がLipschitz連続であると仮定した場合、k-NNグラフを用いたRényiエントロピー推定の有限標本収束速度は何か？
• RQ3 k-NNグラフに基づくアプローチは、経験コプールを介してRényi相互情報量推定に拡張可能か。また、強い一貫性は成立するか？
• RQ4 MSTやTSPと比較して、一般化k-NNグラフ（すべてのk近傍）を用いることで、計算効率と複数のα値における再利用性において、どのように優位性を示すか？
• RQ5 Rényi相互情報量推定にk-NNグラフを用いる際の、経験コプール変換の理論的誤差バウンドは何か？

主な発見

• 一般化k-NNグラフに基づく提案されたRényiエントロピー推定量は、α ∈ (0,1)およびd ≥ 1の下で、密度の有界な台の下で確率的収束の一貫性を示す。
• Lipschitz連続な密度の下で、本稿はRényiエントロピー推定のための、初めての有限標本高確率誤差バウンドを確立し、次元dとパrameter p = d(1−α)に依存する収束速度を示す。
• Rényiエントロピーの誤差バウンドは、0 < p < d−1 の場合O(n^{−(d−p)/(d(2d−p))})、d−1 ≤ p < d の場合O(n^{−(d−p)/(d(d+1))}) であり、対数補正項を含む。
• 経験コプールとk-NNグラフを用いた相互情報量推定量は、d ≥ 3およびα ∈ (1/2,1) の下で強く一貫性を示し、MSTやTSPを用いた先行研究を拡張する。
• k-NNグラフ構造は距離の単調変換に対して不変であるため、異なるα値に対して再計算なしに効率的な推定が可能である。
• 数値実験の結果、すべてのk近傍（一般化k-NN）を用いることで、k番目の近傍に接続する場合と比較して収束速度が向上することが示唆されている。