[論文レビュー] Theoretical Foundations of Equitability and the Maximal Information Coefficient

Yakir Reshef, David N. Reshef+2 more|arXiv (Cornell University)|Aug 21, 2014

Bayesian Modeling and Causal Inference参考文献 27被引用数 10

ひとこと要約

本稿は、等価性（equitability）および最大情報係数（MIC）の理論的基盤を形式化し、MICの母集団レベル版であるMIC*を導入することで、MICと相互情報量の関係を明確にした。MIC*は、相互情報量の連続的かつ標準的な滑らか化として定式化され、依存度測度としての等価性を一般化する厳密な枠組みを提供し、先行研究における曖昧さを解消するとともに、新たな推定器および計算手法の開発を可能にした。

ABSTRACT

The maximal information coefficient (MIC) is a tool for finding the strongest pairwise relationships in a data set with many variables (Reshef et al., 2011). MIC is useful because it gives similar scores to equally noisy relationships of different types. This property, called {\em equitability}, is important for analyzing high-dimensional data sets. Here we formalize the theory behind both equitability and MIC in the language of estimation theory. This formalization has a number of advantages. First, it allows us to show that equitability is a generalization of power against statistical independence. Second, it allows us to compute and discuss the population value of MIC, which we call MIC_*. In doing so we generalize and strengthen the mathematical results proven in Reshef et al. (2011) and clarify the relationship between MIC and mutual information. Introducing MIC_* also enables us to reason about the properties of MIC more abstractly: for instance, we show that MIC_* is continuous and that there is a sense in which it is a canonical "smoothing" of mutual information. We also prove an alternate, equivalent characterization of MIC_* that we use to state new estimators of it as well as an algorithm for explicitly computing it when the joint probability density function of a pair of random variables is known. Our hope is that this paper provides a richer theoretical foundation for MIC and equitability going forward. This paper will be accompanied by a forthcoming companion paper that performs extensive empirical analysis and comparison to other methods and discusses the practical aspects of both equitability and the use of MIC and its related statistics.

研究の動機と目的

• 等価性という概念が、関係の種類にかかわらず同一のノイズレベルを持つ関係に類似したスコアを割り当てるという目的を果たすように、その形式的理論的枠組みを提供すること。
• MIC*と呼ばれるMICの母集団バージョンを定義・分析し、相互情報量の標準的滑らか化として位置づけること。
• MICと相互情報量の数学的関係を明確にし、MIC*が先行研究の結果を一般化・強化することを示すこと。
• 推定理論に基づいた明確で一般化可能な定式化を導入することで、元々の等価性定義における曖昧さを解消すること。
• MIC*の別表現を導出することで、実用的な計算と推定を可能にする新たな計算的・統計的ツールの開発を可能にすること。

提案手法

• MIC*をMICの母集団極限として定義し、2つの確率変数の連合分布を有限グリッドで分割するすべての分割について、正規化された相互情報量の上界（上界）として定義する。
• 推定理論を用いて、等価性を独立性に対する統計的パワーの一般化として形式化し、効果量推定と結びつける。
• エントロピーおよびバイナリーエントロピー関数を含む情報理論的ツールを用い、連合分布の摂動に対する相互情報量の逸脱を制限する。
• グリッドに基づく近似を用いてMIC*の新たな特徴付けを導出し、MIC*が元の分布に関して連続であることを証明する。
• 確率質量の摂動におけるエントロピー差の上限を示す補題（例：補題A.7）を用いて、MIC*の安定性および収束性を確立する。
• 得られた特徴付けに基づき、連合密度関数が既知の場合に実用的な計算が可能なMIC*の新しい推定器を提案する。

実験結果

リサーチクエスチョン

• RQ1 等価性の明確な理論的定義とは何か？ そして、関係の種類にかかわらず一般化可能な形で形式化できるか？
• RQ2 MIC*は相互情報量とどのように関係しており、どのような意味で相互情報量の標準的滑らか化と見なせるか？
• RQ3 連合確率密度関数が既知の場合に、MIC*を明示的に計算できるか？ その計算および統計的性質は何か？
• RQ4 MIC*は、元の分布に対する微小な摂動に対して、連続性および安定性の点でどのような理論的保証を持つのか？
• RQ5 MIC*による等価性の形式化は、先行研究で提示された元の等価性定義における曖昧さや制限をどのように解消するか？

主な発見

• MIC*は、すべての有限グリッドについて正規化された相互情報量の上界として正式に定義され、MICの母集団レベルの基準を提供する。
• MIC*は、元の連合分布に関して連続であるため、データ生成メカニズムの微小な変化に対しても安定した挙動を示す。
• MIC*は、元のMIC論文の数学的結果を厳密に相互情報量とのリンクを通じて一般化・強化する。
• MIC*の別表現（同等の特徴付け）が導出され、連合密度関数が既知の場合に明示的な計算が可能となり、新たな推定アルゴリズムの開発を支援する。
• 形式的枠組みにより、等価性が独立性に対する統計的パワーの一般化であることが示され、推定理論的文脈に統合される。
• エントロピー摂動に関する補題（例：補題A.7）により、MIC*が微小な連合分布の変化に対してロバストであることが示され、バイナリーエントロピー関数およびlog-k項を含む上限が得られる。