[論文レビュー] Demystifying Fixed k-Nearest Neighbor Information Estimators

Weihao Gao, Sewoong Oh+1 more|arXiv (Cornell University)|Apr 11, 2016

Statistical Methods and Inference参考文献 66被引用数 16

ひとこと要約

この論文は、広く使われているKSG固定k近傍相互情報量推定器の理論的一貫性と収束速度を確立し、標本サイズが増加するにつれてバイアスが消えることを証明する。また、KSGの優れた性能の裏にある「相関強化」メカニズムを特定し、より良いバイアス性能を実現する新しいBI-KSG（Bias-Improved-KSG）推定器を提案する。理論的保証が強化され、有限標本における精度も向上している。

ABSTRACT

Estimating mutual information from i.i.d. samples drawn from an unknown joint density function is a basic statistical problem of broad interest with multitudinous applications. The most popular estimator is one proposed by Kraskov and Stögbauer and Grassberger (KSG) in 2004, and is nonparametric and based on the distances of each sample to its $k^{ m th}$ nearest neighboring sample, where $k$ is a fixed small integer. Despite its widespread use (part of scientific software packages), theoretical properties of this estimator have been largely unexplored. In this paper we demonstrate that the estimator is consistent and also identify an upper bound on the rate of convergence of the bias as a function of number of samples. We argue that the superior performance benefits of the KSG estimator stems from a curious "correlation boosting" effect and build on this intuition to modify the KSG estimator in novel ways to construct a superior estimator. As a byproduct of our investigations, we obtain nearly tight rates of convergence of the $\ell_2$ error of the well known fixed $k$ nearest neighbor estimator of differential entropy by Kozachenko and Leonenko.

研究の動機と目的

• 広く使われているが、理論的基盤が不十分であったKSG固定k近傍相互情報量推定器の理論的一貫性と収束速度を確立すること。
• 高次元設定において、KSG推定器が3KL推定器を上回る実験的優位性の原因を解明すること。
• KSG手法に同定された「相関強化」効果を強化することで、バイアスと分散のトレードオフを改善する新しい推定器BI-KSGを開発すること。
• 微分エントロピーの固定k近傍推定器に対するほぼタイトな$β$-ノルム収束速度を導出すること。これは、KozachenkoとLeonenkoによる先行研究を拡張するものである。
• 高次元ユークリッド空間における非パラメトリック情報推定器の挙動を理解するための厳密な理論的枠組みを提供すること。

提案手法

• KSG推定器を、k番目の近傍距離に条件づけて分析し、残りの標本を距離が小さい、等しい、または大きいグループに分割する。
• 集中不等式と幾何確率を用いて、結合空間における距離が与えられたもとで、X空間内に標本が特定の距離内にある確率を上界で制御する。
• k番目の近傍半径内に存在するX近傍の数の分布を導出し、条件付きで二項分布に従うことを示す。
• 二項分布に従う近傍数の裾確率を制御することで、KSG推定器のバイアスに対する上界を確立する。
• KSGアルゴリズムを変更し、最適化された距離しきい値を用いて相関強化効果を高めることで、BI-KSG推定器を導入する。
• 結合密度と近傍幾何のマルチスケール解析を用いて、標本サイズ$N$および次元$d_x, d_y$の観点から収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.標本数$N \to \infty$のとき、KSG推定器は一貫性を示すか？
• RQ2 KSG推定器の$\ell_2$誤差の収束速度は何か？また、次元にどのように依存するか？
• RQ3 両者とも固定$k$近傍法であるにもかかわらず、なぜ実際の応用ではKSG推定器が3KL推定器を上回るのか？
• RQ4 KSGにおける「相関強化」効果は定量的に理解可能であり、より優れた推定器の設計に活用可能か？
• RQ5 固定$k$近傍推定器の微分エントロピー推定における、最もタイトな収束速度は何か？

主な発見

• KSG推定器は一貫性を示し、標本数が増加するにつれてバイアスが消える。
• 2つの確率変数の次元が等しく、かつ1以下の場合、KSG推定器の$\ell_2$誤差は$1/\sqrt{N}$の速度で収束し、パラメトリックレートに達する。
• KSGが3KLを上回る性能を発揮するのは、「相関強化」効果に起因する。この効果により、変数間の依存構造をより効果的に活用している。
• 提案されたBI-KSG推定器は、相関強化メカニズムを強化することでKSGを改善し、有限標本における性能と理論的境界の両方が向上している。
• 本研究では、固定$k$近傍推定器の微分エントロピー推定における$\ell_2$誤差のほぼタイトな上界を確立し、KozachenkoとLeonenkoによる先行研究を精緻化した。
• 解析により、KSG推定器のバイアスが$C_6 (\log N)^{3+\delta}/N$（$C_6 > 0$ なる定数）で上界に抑えられることを示し、収束速度は次元と対数因子に依存する。