[論文レビュー] Distance Correlation: A New Tool for Detecting Association and Measuring Correlation Between Data Sets

Donald St. P. Richards|arXiv (Cornell University)|Aug 14, 2017

Advanced Statistical Methods and Models参考文献 4被引用数 8

ひとこと要約

この論文は、任意の次元の確率的ベクトル間の線形および非線形関係を検出できる強力でモデルフリーな手法として距離相関を導入し、ピアソン相関の限界を克服する。理論的導出と天文学および社会科学分野における実応用を通じて、ピアソン相関が失敗する非線形関係を、より高い統計的パワーを伴い、馬蹄型やV字型のパターンを含む複雑なデータ構造を効果的に検出できることが示された。

ABSTRACT

The difficulties of detecting association, measuring correlation, and establishing cause and effect have fascinated mankind since time immemorial. Democritus, the Greek philosopher, underscored well the importance and the difficulty of proving causality when he wrote, "I would rather discover one cause than gain the kingdom of Persia." To address the difficulties of relating cause and effect, statisticians have developed many inferential techniques. Perhaps the most well-known method stems from Karl Pearson's coefficient of correlation, which Pearson introduced in the late 19th century based on ideas of Francis Galton. I will describe in this lecture the recently-devised distance correlation coefficient and describe its advantages over the Pearson and other classical measures of correlation. We will examine an application of the distance correlation coefficient to data drawn from large astrophysical databases, where it is desired to classify galaxies according to various types. Further, the lecture will analyze data arising in the ongoing national discussion of the relationship between state-by-state homicide rates and the stringency of state laws governing firearm ownership. The lecture will also describe a remarkable singular integral which lies at the core of the theory of the distance correlation coefficient. We will see that this singular integral admits generalizations to the truncated Maclaurin expansions of the cosine function and to the theory of spherical functions on symmetric cones.

研究の動機と目的

• ピアソン相関の限界を克服し、確率的ベクトル間の線形および非線形の依存関係を検出できる相関測度を開発すること。
• 特に複雑で単調でない関係において、真の関係を検出するための高いパワーを持つ統計的ツールを提供すること。
• 従来の手法が失敗する高次元データにおける依存関係の検出を可能にし、非正規分布や非単調な関係に対しても有効であること。
• 天文学および社会科学分野の実世界データセットを用いた実証的検証を通じて、古典的相関測度を上回る優れた性能を示すこと。

提案手法

• 論文は、確率的ベクトルXおよびYの同時および周辺特性関数を用いた積分を用いて距離分散を定義する。
• 距離相関係数は距離分散の正規化形として導入され、位置およびスケール変換に対して不変性を保証する。
• 実験的距離分散は、観測値間のペアワイズユークリッド距離に基づく計算効率の良い式（4）を用いて計算され、直接的な積分を回避する。
• ノルムの逆累乗関数のフーリエ変換を含む特異積分恒等式を活用することで、解析的取り扱いが可能になる。
• 任意の次元pおよびqをもつ確率的ベクトルへと一般化され、多変量および高次元データに応用可能である。
• 理論的性質として、距離相関が0であることは確率的独立性と同値であることが確立されている。

実験結果

リサーチクエスチョン

• RQ1 距離相関は、ピアソン相関が検出できない非線形関係を検出できるか？
• RQ2 複雑なデータ構造において、距離相関はピアソン相関よりも高い統計的パワーを示すか？
• RQ3 距離相関は、天文学的データセットで観察されるようなV字型または馬蹄型の散布図を、高次元データで効果的に解明できるか？
• RQ4 距離相関は、州レベルの殺人率と銃器法の分析など、実世界の応用においても頑健で効果的か？
• RQ5 距離分散の数学的基盤は何か、特に特異積分がその定式化において果たす役割は何か？

主な発見

• 距離相関は、COMBO-17天文学的データセットにおいて、ピアソン相関が検出できなかった顕著な非線形関係を検出できた。特に、銀河データにおけるV字型および馬蹄型のパターンを解明した。
• 赤方偏移z ∈ [0, 0.5) の銀河において、距離相関はピアソン相関よりも強く、より構造的な関係を明らかにした。これにより分類精度が向上し、銀河タイプのグループ分けにおける汚染要因の特定も可能になった。
• 米国州レベルの殺人率と銃器法の分析において、ピアソン相関は有意な関係を示さなかったが、距離相関は地域別または人口密度別にデータを層別した際に強い関連性を明らかにした。
• 実験的距離分散は、ペアワイズ距離を含む閉形式式（4）により計算可能であることが示され、数値積分を回避する効率的な計算が可能になった。
• 理論的結果により、距離相関が0であることは確率的独立性を意味することが確認され、完全な依存性の検定として有効であることが示された。
• 距離相関はピアソン相関を上回る高い統計的パワーを示し、特に複雑で非線形なデータにおいて、真の関係を検出する際の偽陰性を低減した。