[論文レビュー] The Generalized Mean Information Coefficient

Alexander R. Luedtke, Linh Tran|arXiv (Cornell University)|Aug 26, 2013

Advanced Statistical Methods and Models参考文献 6被引用数 3

ひとこと要約

本稿では、一般化平均パラメータを調整することで有限標本における統計的パワーを向上させる、MIC（Maximal Information Coefficient）のチューナブルな拡張版である一般化平均情報係数（GMIC）を提案する。GMICはMICの漸近的性質を維持しつつ、特にp = -1のチューニングパラメータにおいて、多様な関数的関係においてMICを上回るパワーを示すが、距離相関は全体的により優れたパワーを示す。

ABSTRACT

Reshef & Reshef recently published a paper in which they present a method called the Maximal Information Coefficient (MIC) that can detect all forms of statistical dependence between pairs of variables as sample size goes to infinity. While this method has been praised by some, it has also been criticized for its lack of power in finite samples. We seek to modify MIC so that it has higher power in detecting associations for limited sample sizes. Here we present the Generalized Mean Information Coefficient (GMIC), a generalization of MIC which incorporates a tuning parameter that can be used to modify the complexity of the association favored by the measure. We define GMIC and prove it maintains several key asymptotic properties of MIC. Its increased power over MIC is demonstrated using a simulation of eight different functional relationships at sixty different noise levels. The results are compared to the Pearson correlation, distance correlation, and MIC. Simulation results suggest that while generally GMIC has slightly lower power than the distance correlation measure, it achieves higher power than MIC for many forms of underlying association. For some functional relationships, GMIC surpasses all other statistics calculated. Preliminary results suggest choosing a moderate value of the tuning parameter for GMIC will yield a test that is robust across underlying relationships. GMIC is a promising new method that mitigates the power issues suffered by MIC, at the possible expense of equitability. Nonetheless, distance correlation was in our simulations more powerful for many forms of underlying relationships. At a minimum, this work motivates further consideration of maximal information-based nonparametric exploration (MINE) methods as statistical tests of independence.

研究の動機と目的

• 有限標本におけるMICの低統計的パワー、特に一般的な関数的関係に対する問題を解決すること。
• 測定が重視する関連の複雑さを制御可能な形で一般化したMICの一般化を開発すること。
• 新測定法であるGMICが、依存性検出における一貫性といったMICの主要な漸近的性質を保持することを証明すること。
• 8つの関数的関係およびさまざまなノイズレベルにおいて、GMICの性能をシミュレーションで評価すること。
• 現実的な有限標本シナリオにおいて、GMICのパワーをMIC、ピアソン相関、距離相関と比較すること。

提案手法

• GMICは、MICの特徴行列要素の一般化平均として定義され、チューニングパラメータpにより強調される関連のタイプを制御する。
• 一般化平均は、すべてのグリッド分割における最大相互情報量推定値に適用され、p = -1では調和平均が得られる。
• この手法は、MICのランクに基づく不変性と、依存性における漸近的一致性を保持しており、標本サイズが増加するにつれてあらゆる形の関連を検出可能である。
• 動的計画法を用いて特徴行列を効率的に近似することで、大規模データセット上でも計算が可能になる。
• チューニングパラメータpにより、p=0（幾何平均）で等価性を重視するのに対し、p=-1（調和平均）でパワーを高めるトレードオフが可能である。
• シミュレーションでは、60のノイズレベルにおける8つの関数的関係において、GMICのパワーをMIC、ピアソン相関、距離相関と比較した。

実験結果

リサーチクエスチョン

• RQ1 MICの一般化平均形式が、多様な関連を検出する能力を損なわせることなく、有限標本における統計的パワーを向上させることができるか？
• RQ2 GMICは、依存性検出における一貫性といった、MICと同等の漸近的性質を保持しているか？
• RQ3 特定のチューニングパラメータpの値が、広範な関数的関係にわたって強固なパワーを発揮するか？
• RQ4 異なる種類の関連およびノイズレベルにおいて、GMICのパワーはMIC、ピアソン相関、距離相関と比べてどの程度か？
• RQ5 GMICにおける等価性とパワーのトレードオフが、実世界のデータ解析における解釈可能性と実用性にどの程度影響を及えるか？

主な発見

• p = -1のGMICは、テストされた8つの関数的関係の大部分において、MICを上回る統計的パワーを達成しており、特に非単調的かつ非線形関連において顕著である。
• 高周波数の正弦波関数および円の関係では、p = -1のGMICはMICより劣るが、依然としてピアソン相関やMinICを上回る性能を示す。
• 距離相関は、高周波数正弦波を除くすべての関係において、GMIC（p = -1）を含む他のすべての手法を統計的パワーで常に上回る。
• ほとんどの関係において、p = -1のGMICの標本平均は、ノイズなし状態でMICとほぼ同一であり、高周波数正弦波および円の関係を除いて、強い関連への感受性が保持されていることが示された。
• p = -1のGMICは、複数の関数的形態にわたって安定したパワー性能を示しており、標本サイズが限られる実用的状況におけるMICの信頼できる代替手段であると考えられる。
• 本研究では、p = -1がGMICのデフォルトとして有望であると示唆しており、多様な関係にわたるパワーのバランスを図るとともに、非負のp値で見られる急激なパワー低下を回避できる。