[論文レビュー] A new correlation coefficient, its orthogonal decomposition and associated tests of independence

Wicher Bergsma|ArXiv.org|Apr 28, 2006

Advanced Statistical Methods and Models参考文献 22被引用数 9

ひとこと要約

本稿では、0から1の範囲をとり、独立性の下で0、線形従属の下で1をとる新しい相関係数ρ*を導入する。これは絶対差に基づくカーネルから導かれるもので、ヒルベルト＝シュミット作用素の固有関数による直交分解を可能とし、視覚的診断と漸近的推論を併せ持つ強力で解釈可能な独立性の検定を提供する。

ABSTRACT

A possible drawback of the ordinary correlation coefficient $ρ$ for two real random variables $X$ and $Y$ is that zero correlation does not imply independence. In this paper we introduce a new correlation coefficient $ρ^*$ which assumes values between zero and one, equalling zero iff the two variables are independent and equalling one iff the two variables are linearly related. The coefficients $ρ^*$ and $ρ^2$ are shown to be closely related algebraically, and they coincide for distributions on a $2 imes 2$ contingency table. We derive an orthogonal decomposition of $ρ^*$ as a positively weighted sum of squared ordinary correlations between certain marginal eigenfunctions. Estimation of $ρ^*$ and its component correlations and their asymptotic distributions are discussed, and we develop visual tools for assessing the nature of a possible association in a bivariate data set. The paper includes consideration of grade (rank) versions of $ρ^*$ as well as the use of $ρ^*$ for contingency table analysis. As a special case a new generalization of the Cram{é}r-von Mises test to $K$ ordered samples is obtained.

研究の動機と目的

• ピアソン相関係数ρの限界、すなわちゼロであっても非線形従属を検出できないことへの対処。
• 独立性の下で0、線形従属の下で1をとり、[0,1]の値をとる相関係数ρ*の開発。
• 周辺カーネルh_Fの固有関数間の相関係数へのρ*のスペクトル的分解の提供。
• ρ*およびその成分を用いた従属構造の推定、推論、可視化の実現。
• Cramér-von Mises検定をK個の順序付き標本へ一般化し、特殊ケースとしての応用。

提案手法

• 絶対差を二乗差の代わりに用い、h_F(z₁,z₂) = -1/2 E[|z₁−z₂| − |z₁−Z₂| − |Z₁−z₂| + |Z₁−Z₂|] として新しいカーネルh_F(z₁,z₂)を定義する。
• h_Fに基づく共分散に類似した関数的量κ(X,Y) = E[h_{F₁}(X₁,X₂) h_{F₂}(Y₁,Y₂)]を構築する。
• ρ* = κ(X,Y)/√[κ(X,X)κ(Y,Y)] を定義し、0 ≤ ρ* ≤ 1 であり、XとYが線形的に関連している場合に限り1に等しいことを保証する。
• 直交分解の導出: ρ* = Σ λ_k μ_k ρ_{kl}²、ここでλ_k, μ_kはh_{F₁}とh_{F₂}の固有値であり、ρ_{kl}はそれぞれの固有関数間の相関係数である。
• ヒルベルト＝シュミット作用素のスペクトル論を用いて、差分（離散的）または微分方程式（連続的）により固有関数を解く。
• κおよびρ*のO(n²)推定量を提案し、独立性の帰無仮説の下で混合カイ二乗分布の漸近的分布を導出する。

実験結果

リサーチクエスチョン

• RQ1 任意の従属関係（線形や単調なものに限らない）を検出できる相関係数を構築可能か？ また、独立性の下でかつ唯一その下で0となるか？
• RQ2 ρ*は、従属の性質を明らかにする解釈可能な直交成分に分解可能か？
• RQ3 帰無仮説（独立性）の下で標本ρ*の漸近的分布は何か？
• RQ4 成分相関係数ρ_{kl}はどのように推定され、有意性の検定が可能か？
• RQ5 ρ*は順位ベースやコプーラベースの推論へ一般化可能か？ そして、新たな非パラメトリック検定をもたらすか？

主な発見

• ρ*は0 ≤ ρ*(X,Y) ≤ 1を満たし、ρ*(X,Y) = 0 iff XとYが独立、ρ*(X,Y) = 1 iff XとYが線形的に関連している。
• 直交分解ρ* = Σ λ_k μ_k ρ_{kl}²は、周辺カーネルの固有関数間の従属の成分に一意かつ解釈可能な分解を提供する。
• ノルウェー証券取引所のデータでは、ρ* = 0.09（p = 0.000）であり、連続する価格ジャンプ間に強い関連があることを示し、ボンフェローニ補正後に7つの有意な成分相関が得られた。
• ρ̂₁₁ = 0.25、ρ̂₂₂ = 0.64、ρ̂₄₄ = 0.38といった成分相関が有意（p = 0.000）であり、大規模および小規模なジャンプのクラスタリングを示している。
• 重みW_iおよびW_i^{(k,l)}の可視化は、従属の十字型構造を効果的に明らかにし、上腕が重いほどジャンプ方向の継続性が示されている。
• 本手法はCramér-von Mises検定をK個の順序付き標本へ一般化し、K標本対称性のための新たな非パラメトリック検定を提供する。