[論文レビュー] Measuring dependence powerfully and equitably

Yakir Reshef, David N. Reshef+3 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Statistical Methods and Models参考文献 29被引用数 33

ひとこと要約

本稿では、高次元データにおける従属関係の測定のための2つの新しい統計量を紹介する。1つは、同じノイズレベルにおける多様な関係形（線形、周期的、指数関数的など）に対して等価性を保つように最適化されたものであり、もう1つは強力な独立性の検定を可能にするものである。これらの手法は、相互情報量の標準化スムージングに等価な新しい母集団の従属度測定に基づいており、計算が効率的で、一貫性およびバイアス・バリアンス性能に関する強い理論的保証を有する。

ABSTRACT

Given a high-dimensional data set, we often wish to find the strongest relationships within it. A common strategy is to evaluate a measure of dependence on every variable pair and retain the highest-scoring pairs for follow-up. This strategy works well if the statistic used (a) has good power to detect non-trivial relationships, and (b) is equitable, meaning that for some measure of noise it assigns similar scores to equally noisy relationships regardless of relationship type (e.g., linear, exponential, periodic). In this paper, we define and theoretically characterize two new statistics that together yield an efficient approach for obtaining both power and equitability. To do this, we first introduce a new population measure of dependence and show three equivalent ways that it can be viewed, including as a canonical smoothing of mutual information. We then introduce an efficiently computable consistent estimator of our population measure of dependence, and we empirically establish its equitability on a large class of noisy functional relationships. This new statistic has better bias/variance properties and better runtime complexity than a previous heuristic approach. Next, we derive a second, related statistic whose computation is a trivial side-product of our algorithm and whose goal is powerful independence testing rather than equitability. We prove that this statistic yields a consistent independence test and show in simulations that the test has good power against independence. Taken together, our results suggest that these two statistics are a valuable pair of tools for exploratory data analysis.

研究の動機と目的

• 同じノイズレベル下で、多様な関係形（例：線形、周期的、指数関数的）に対して一貫したスコアを維持する従属関係測定の開発。
• 従来のヒューリスティック手法よりも優れた、新しい母集団の従属度測定の計算が速く一貫性のある推定器の設計。
• 等価性に加えて独立性検定を可能にする第二の統計量の提供。
• 複数の同等な表現形（相互情報量の標準化スムージングを含む）を通じて、新しい母集団の従属度測定の理論的特徴付け。
• ノイズを含む多様な関数的関係のクラスにわたる、提案統計量の等価性および統計的パワーの実験的妥当性の検証。

提案手法

• 相互情報量の標準化スムージングに等価な新しい母集団の従属度測定を定義し、一貫した推定と等価性の挙動を可能にする。
• データ駆動型のビン分割とスムージング技術を活用してバイアスとバリアンスを低減する、効率的に計算可能な一貫した推定器を導入。
• 等価性最適化統計量の計算が自然に第二の統計量を副産物として得られることを示し、これを独立性検定に用いる。
• 第二の統計量が独立性の一致した検定を提供することを証明し、標本サイズの増加に伴い従属関係を検出できる能力について理論的保証を提示。
• シミュレーションを用いて、従来のヒューリスティック手法と比較し、バイアス/バリアンスのトレードオフの改善とより速い実行時間の複雑さを示す。
• 母集団測定と3つの異なる解釈の間の同等性を確立：滑らか化された相互情報量、再生核ヒルベルト空間上の正規化された共分散、変換された特徴空間上の相関係数。

実験結果

リサーチクエスチョン

• RQ1 同じノイズレベル下で、関数的形態にかかわらず等価なスコアを割り当てる従属関係測定を構築できるか？
• RQ2 等価性と独立性検定の両方をサポートする新しい母集団の従属度測定のための一貫性があり、効率的な推定器を設計するにはどうすればよいか？
• RQ3 提案された母集団測定と、相互情報量やカーネルベースの従属度測定といった既存の概念との理論的関係は何か？
• RQ4 アルゴリズムから得られる第二の統計量は、計算効率を維持しながら独立性検定において強いパワーを達成できるか？
• RQ5 多様な関数的関係において、バイアス、バリアンス、実行時間の観点から、新しい統計量は従来のヒューリスティック手法とどのように比較されるか？

主な発見

• 提案された母集団の従属度測定は、数学的に相相互情報量の標準化スムージングに等価であり、等価な従属関係測定の原理的基盤を提供する。
• 母集団測定の一貫した推定器は、従来のヒューリスティック手法と比較して優れたバイアス・バリアンスのトレードオフを示し、広範なノイズを含む関数的関係のスケールで実験的に優れた等価性を達成する。
• アルゴリズムは、従来の手法よりも優れた実行時間の複雑さを達成しており、高次元データセットへの効率的な適用を可能にする。
• 主計算の副産物として得られる第二の統計量は、シミュレーションにおいて強い実験的パワーを持つ一貫した独立性検定を提供する。
• 理論的分析により、両統計量が一貫していることが確認された：等価性に注目した統計量は真の従属度測定に収束し、独立性検定統計量は標本サイズの増加に伴い帰無仮説（独立性）を正しく棄却する。
• 実験的結果は、新しい統計量が高次元データにおける非自明な関係を効果的に検出し、スコア付けできることを示しており、等価性とパワーの両面で従来の手法を上回っている。