[論文レビュー] An Empirical Study of Leading Measures of Dependence

David N. Reshef, Yakir Reshef+2 more|arXiv (Cornell University)|May 9, 2015

Mental Health Research Topics参考文献 21被引用数 10

ひとこと要約

本稿は、高次元データの探索に向けた最新の従属測定法である MICe と TICe の実証的評価を行い、等価性、独立性に対する統計的パワー、計算効率に焦点を当てる。MICe は、R² に基づくノイズの多い関数的関係の順序付けにおいて優れた等価性を示すが、TICe は独立性に対する最先端のパワーを発揮する。研究者らは、感受性と公平性の最適なバランスを実現するため、TICe を事前フィルタリングに用い、その後に MICe を計算することを推奨する。

ABSTRACT

In exploratory data analysis, we are often interested in identifying promising pairwise associations for further analysis while filtering out weaker, less interesting ones. This can be accomplished by computing a measure of dependence on all variable pairs and examining the highest-scoring pairs, provided the measure of dependence used assigns similar scores to equally noisy relationships of different types. This property, called equitability, is formalized in Reshef et al. [2015b]. In addition to equitability, measures of dependence can also be assessed by the power of their corresponding independence tests as well as their runtime. Here we present extensive empirical evaluation of the equitability, power against independence, and runtime of several leading measures of dependence. These include two statistics introduced in Reshef et al. [2015a]: MICe, which has equitability as its primary goal, and TICe, which has power against independence as its goal. Regarding equitability, our analysis finds that MICe is the most equitable method on functional relationships in most of the settings we considered, although mutual information estimation proves the most equitable at large sample sizes in some specific settings. Regarding power against independence, we find that TICe, along with Heller and Gorfine's S^DDP, is the state of the art on the relationships we tested. Our analyses also show a trade-off between power against independence and equitability consistent with the theory in Reshef et al. [2015b]. In terms of runtime, MICe and TICe are significantly faster than many other measures of dependence tested, and computing either one makes computing the other trivial. This suggests that a fast and useful strategy for achieving a combination of power against independence and equitability may be to filter relationships by TICe and then to examine the MICe of only the significant ones.

研究の動機と目的

• MICe や TICe を含む代表的な従属測定法の等価性、統計的パワー、計算効率を評価すること。
• MICe や TICe が、多様な関数的形態とノイズレベルにおいて、関係の強さの順序付けで優れた性能を発揮するかどうかを検証すること。
• 理論的に予想されたように、実際のデータにおいて等価性と独立性に対するパワーの間には測定可能なトレードオフが存在するかどうかを評価すること。
• 探索的データ解析における MICe、TICe および他の従属測定法の選択に役立つ、実践的でデータ駆動のガイドラインを提供すること。

提案手法

• 広範なデータ生成モデル、関係タイプ、標本サイズを用いた大規模な実証的評価を実施する。
• 等価性は、ノイズの多い関数的関係のスコアとその背後にある R² 値との比較により測定され、MICe と相互情報量推定が主なベンチマークとして用いられる。
• 独立性に対する統計的パワーは、Simon と Tibshirani (2012) が提示した関係のスイートを用い、全測定法の性能を比較して評価する。
• 実行時間効率は、複数の標本サイズと変数次元における計算時間の測定により評価される。
• MICe と TICe は同時に計算され、それらの計算的関係を活用して、効率的な二段階フィルタリングを可能にする。
• 各測定法のパラメータ設定は、各分析に合わせて最適化され、公平かつ現実的な性能比較を保証する。

実験結果

リサーチクエスチョン

• RQ1 MICe は、異なる標本サイズと関係タイプにおいて、他の測定法と比較して、R² に基づくノイズの多い関数的関係の順序付けにおいて、どれほど等価性を発揮するか？
• RQ2 MICe、TICe および他の従属測定法は、独立性検定における広範な代替仮説に対して、相対的にどれほど高いパワーを発揮するか？
• RQ3 理論的に予想されたように、実際のデータにおいて等価性と独立性に対するパワーの間には測定可能なトレードオフが存在するか？
• RQ4 TICe を MICe の前処理として効果的に使用することで、重要な関係を損なうことなく候補関係の数を削減できるか？
• RQ5 MICe と TICe は、他の代表的な従属測定法と比較して、計算効率においてどれほど優れているか？

主な発見

• MICe は、テストされたほとんどの設定において、関数的関係に対して最も等価性の高い手法であるが、特定の状況では大規模な標本サイズにおいて、相互情報量推定がそれを上回る。
• TICe と Heller と Gorfine の SDDP は、テストされた関係すべてにおいて、独立性に対する最先端のパワーを達成している。
• 等価性と独立性に対するパワーの間には、明確なトレードオフが実証的に確認され、Reshef 他 [2015b] の理論的予想と整合的である。
• MICe と TICe は、他の多くの従属測定法よりも顕著に高速であり、TICe は関係の効率的フィルタリングを可能にする。
• TICe の計算により、MICe の計算が容易に可能となるため、実用的な二段階ワークフローが可能となる：TICe でフィルタリングし、有意な結果に対してのみ MICe を計算する。
• 結果から、特に MICe と組み合わせた場合に、高いパワーと計算効率を兼ね備えることから、TICe は前処理統計量としてより好ましいことが示唆される。