[論文レビュー] Estimating mutual information in high dimensions via classification error

Charles Zheng, Yuval Benjamini|arXiv (Cornell University)|Jun 16, 2016

Neural Networks and Applications参考文献 14被引用数 3

ひとこと要約

本稿は、層別抽出と高次元極限における漸近理論を活用し、k分類の平均ベイズ誤差に基づく、新しい高次元推定器を提案する。従来の推定器がクラス数kに起因する対数的上限に縛られるのを克服することで、仮定が成立する場合、中程度の次元においても正確な相互情報量（MI）推定が可能となり、既存の手法を上回る性能を発揮する。

ABSTRACT

Multivariate pattern analyses approaches in neuroimaging are fundamentally concerned with investigating the quantity and type of information processed by various regions of the human brain; typically, estimates of classification accuracy are used to quantify information. While a extensive and powerful library of methods can be applied to train and assess classifiers, it is not always clear how to use the resulting measures of classification performance to draw scientific conclusions: e.g. for the purpose of evaluating redundancy between brain regions. An additional confound for interpreting classification performance is the dependence of the error rate on the number and choice of distinct classes obtained for the classification task. In contrast, mutual information is a quantity defined independently of the experimental design, and has ideal properties for comparative analyses. Unfortunately, estimating the mutual information based on observations becomes statistically infeasible in high dimensions without some kind of assumption or prior. In this paper, we construct a novel classification-based estimator of mutual information based on high-dimensional asymptotics. We show that in a particular limiting regime, the mutual information is an invertible function of the expected $k$-class Bayes error. While the theory is based on a large-sample, high-dimensional limit, we demonstrate through simulations that our proposed estimator has superior performance to the alternatives in problems of moderate dimensionality.

研究の動機と目的

• 高次元脳イメージングデータにおける分類精度を相互情報量（MI）の代理指標として用いる際の限界を解消すること。
• 任意のクラス分割に対して不変である理論的裏付けのある、分類ベースの相互情報量推定器を構築すること。
• 既存の推定器がクラス数kの対数log(k)で上限に縛られるという根本的制限を克服すること。
• 脳領域、モodalitiy、または研究間で情報含量を比較するための実用的でスケーラブルな手法を提供すること。
• 分類誤差が高次元設定において相互情報量を信頼性高く推定できる条件を確立すること。

提案手法

• 本手法は、高次元漸近論と層別抽出の下で、相互情報量と期待されるk分類ベイズ誤差の理論的関係を導出する。
• クラスラベルが無限個の潜在クラスから連続分布に従ってi.i.d.に抽出されると仮定し、分類誤差を制御可能にする。
• ラベル衝突の確率をポアソン抽出近似でモデル化することで、平均ベイズ誤差の安定した推定に至る。
• ベイズ誤差と相互情報量の漸近的関係を逆算し、MIのプラグイン推定器を生成する。
• 分類誤差推定が一貫しているものと仮定し、ベイズルールを近似する分類器を用いる。
• 任意のクラス分割に対して頑健で、高次元応答空間へスケーラブルに拡張可能であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 k分類タスクにおける分類誤差は、高次元設定で相互情報量を推定するために用いることができるか？
• RQ2 層別抽出と高次元漸近論の下で、ベイズ誤差と相互情報量の関係はどのように振る舞うか？
• RQ3 本推定器は、既存の分類ベースMI推定器が直面するlog(k)の上限を克服できるか？
• RQ4 中程度の次元問題において、本推定器は既存のMI推定器と比較してどの程度の性能を示すか？
• RQ5 モデル誤指定や有限標本のずれに対して、推定器がどの条件下で頑健であるか？

主な発見

• 提案された推定器$\hat{I}_{HD}$は、シミュレーションにおいて既存の推定器$\hat{I}_{Fano}$および$\hat{I}_{CM}$を顕著に上回り、特に中程度の次元で優れた性能を示す。
• 従来手法が$\log(k)$の上限に縛られるという根本的制限を克服し、真のMIがそれ以上であっても正確に推定可能である。
• 完全分類が分割に起因して達成される最悪ケース例において、推定器は過大評価をせず、有限のMI（$I(X;Y) = \log(k)$）を正しく同定する。
• クラス数の変動に対しても安定した性能を維持し、推定MIに系統的増加または減少が生じないため、クラス数に対して頑健であることが示された。
• 推定器は層別抽出と高次元応答空間の仮定が成立する場合に最も効果的であり、実世界への適用にあたっては診断チェックの提案がなされている。
• 平均ベイズ誤差を近似するポアソン抽出モデルを理論的裏付けとして提示し、MI推定に向けた逆算を可能にした。