[論文レビュー] Estimating Mutual Information by Local Gaussian Approximation

Shuyang Gao, Greg Ver Steeg+1 more|arXiv (Cornell University)|Aug 3, 2015

Advanced Chemical Sensor Technologies参考文献 15被引用数 7

ひとこと要約

本稿では、各サンプル点で局所的にガウス分布を用いて確率密度を近似する、新しい半パラメトリック相互情報量推定法を提案する。この手法により、強い依存関係を示す変数において精度が向上する。この推定法は漸近的に不偏であり、特にサンプル数が限られた強依存性領域において、従来のkNNベースの推定法を上回る性能を示す。

ABSTRACT

Estimating mutual information (MI) from samples is a fundamental problem in statistics, machine learning, and data analysis. Recently it was shown that a popular class of non-parametric MI estimators perform very poorly for strongly dependent variables and have sample complexity that scales exponentially with the true MI. This undesired behavior was attributed to the reliance of those estimators on local uniformity of the underlying (and unknown) probability density function. Here we present a novel semi-parametric estimator of mutual information, where at each sample point, densities are {\em locally} approximated by a Gaussians distribution. We demonstrate that the estimator is asymptotically unbiased. We also show that the proposed estimator has a superior performance compared to several baselines, and is able to accurately measure relationship strengths over many orders of magnitude.

研究の動機と目的

• 強い依存関係を示す変数に対して、従来の非パラメトリック相互情報量推定法の性能が著しく劣ることを是正すること。
• kNNベースの推定法に伴う局所的均一性仮定に起因するサンプル複雑性の問題を克服すること。
• 理論的漸近不偏性と優れた実験的性能を有する半パラメトリック推定法の開発。
• ヒューリスティック補正に代わる理論的裏付けのある代替手法の提供。

提案手法

• 各サンプル点において、局所尤度推定を用いて局所密度をガウス分布で近似する。
• 真の密度と局所的ガウス近似との間のカルバック・ライブラー発散を最小化する。
• 推定された局所的ガウス分布のパラメータを用いてエントロピーおよび相互情報量を推定する。
• 境界バイアスや非一様性に対処するため、局所尤度密度推定に関する先行研究を活用する。
• 正則性条件を満たす密度関数のもとで、推定法が漸近的に不偏であるように構築する。
• バンド幅の選択が極めて重要であり、局所的ガウス構造を保つために適応的最適化を用いて対処する。

実験結果

リサーチクエスチョン

• RQ1 kNNベースの手法が失敗する強依存関係を示す変数において、局所的ガウス近似が相互情報量推定の精度を向上させることができるか？
• RQ2 提案手法が標準的な正則性条件のもとで漸近的に不偏となるか？
• RQ3 さまざまな依存強度の下で、局所的ガウス推定法はベースラインのkNNおよび補正済み推定法と比較してどのように性能を発揮するか？
• RQ4 局所的非一様性が従来の非パラメトリックMI推定法に与える影響は何か？ そして、これを体系的に是正できるか？
• RQ5 相互情報量推定において、局所的密度近似アプローチに理論的性能保証を確立できるか？

主な発見

• 提案された局所的ガウス近似推定法は漸近的に不偏であり、強い理論的基盤を提供する。
• 強い依存関係において、従来のkNNベースのベースラインを著しく上回る。特に、既存手法が指数関数的サンプル複雑性に苦しむ領域で顕著な優位性を示す。
• 実験的結果から、依存強度の多数のオーダーにわたり、相互情報量の正確な測定が可能であることが示された。
• 境界バイアスや非一様性の問題を効果的に軽減し、従来の非パラメトリック密度推定法が直面する課題を克服した。
• 弱い依存関係でも優れた性能を維持しながら、強依存性領域では特に優れた性能を発揮する。
• 理論的にkpN推定法（Lombardi and Pant, 2015）よりも優れている。kpN推定法は打ち切りガウス分布を用いるが、正式な性能保証がない。