[論文レビュー] Efficient Estimation of Mutual Information for Strongly Dependent Variables

Shuyang Gao, Greg Ver Steeg+1 more|arXiv (Cornell University)|Nov 7, 2014

Complex Network Analysis Techniques参考文献 31被引用数 89

ひとこと要約

本論文は、結合分布の局所的非一様性を補正する新しいk近傍法(kNN)ベースの相互情報量(MI)推定器を提案する。これは、従来のkNN推定器に内在する主要な欠陥である。従来の手法とは異なり、強い依存関係において指数関数的に多くのサンプルを必要とせず、特に高依存度の状況においてもはるかに少ないサンプルで正確なMI推定を達成する。

ABSTRACT

We demonstrate that a popular class of nonparametric mutual information (MI) estimators based on k-nearest-neighbor graphs requires number of samples that scales exponentially with the true MI. Consequently, accurate estimation of MI between two strongly dependent variables is possible only for prohibitively large sample size. This important yet overlooked shortcoming of the existing estimators is due to their implicit reliance on local uniformity of the underlying joint distribution. We introduce a new estimator that is robust to local non-uniformity, works well with limited data, and is able to capture relationship strengths over many orders of magnitude. We demonstrate the superior performance of the proposed estimator on both synthetic and real-world data.

研究の動機と目的

• 強い依存関係下で性能が著しく低下する既存kNNベースMI推定器の根本的欠陥を特定すること。
• 相互情報量が高くなるとサンプルサイズが指数関数的に増加する現在の推定器の問題を解決すること。
• 限られたデータと強い関係下でも正確に保てる新しい非パラメトリックMI推定器を開発すること。
• 実世界のデータマイニング応用において効率的なMI推定を可能にする実用的でオープンソースのツールを提供すること。

提案手法

• 従来のkNN推定器が暗黙的に無視していた、結合密度における局所的非一様性を補正する補正項を導入する。
• 境界付近や非一様領域における密度推定誤差を補正するバイアス補正を組み込んだ、標準kNNエントロピー推定器の修正。
• 修正済みkNNエントロピー推定値に基づき、標準的な恒等式 I(X) = ΣH(Xi) - H(X) を用いて新しい相互情報量推定器を導出する。
• 特に高依存度状況においても局所的密度変動をよりよく捉えるように、修正されたkNNグラフ構造を採用する。
• 最近接距離の重み付き組み合わせを用いて局所的密度を推定し、非一様性を補正要因を用いて補正する。
• 既知のMI値を持つ合成データと実世界のデータセットを用いて、妥当性を検証し、ロバスト性とサンプル効率を示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存のkNNベースMI推定器は、真のMIが高くなると相互情報量を正確に推定できないのか？
• RQ2 現在のkNN推定器に内在する、強い依存関係下で性能が低下する根本的仮定は何か？
• RQ3 局所的非一様性に対する補正項を導入することで、限られたサンプル数でもkNNベースMI推定の正確性が向上するか？
• RQ4 さまざまな依存度レベルにおいて、提案手法は最先端の手法と比較して、サンプル効率と正確性の点で優れているか？

主な発見

• 提案手法は、高依存度状況下で、標準kNN推定器が要請するサンプル数の桁違いに少ないサンプル数で正確なMI推定を達成する。
• 既存のkNNベースMI推定器は、相互情報量が増加するにつれて指数関数的に多くのサンプルを必要とし、強い関係の測定が困難である。
• 本手法は、小さなサンプルサイズでもKSG推定器や他のkNN変種よりも、強い非線形的関係の推定において顕著に優れている。
• 局所的非一様性や境界効果に対してロバストであり、これらは従来のkNN推定器を歪める要因である。
• 合成データおよび実世界データにおける実験結果から、真のMIが5 natsを超える場合でも、提案手法は高い正確性を維持することが示された。
• オープンソース実装は、高次元かつ強く依存する変数を含むデータマイニングタスクにおける実用的有用性を示している。