[論文レビュー] A survey of some recent developments in measures of association

Sourav Chatterjee|arXiv (Cornell University)|Nov 9, 2022

Advanced Harmonic Analysis Research被引用数 4

ひとこと要約

本稿では、確率変数間の従属性を一貫して推定する新しいノンパラメトリック相関係数 ξₙ を提案する。この係数の極限 ξ(X,Y) は、X と Y が独立である場合にかつその場合にのみ 0 に等しく、Y が X の可測関数である場合にかつその場合にのみ 1 に等しい。この手法は順位と順序統計量に基づくものであり、標準ボレル空間への拡張および条件付き従属性の評価を可能にする一般化係数 ξₙ(Z,Y|X) へと拡張されている。

ABSTRACT

This paper surveys some recent developments in measures of association related to a new coefficient of correlation introduced by the author. A straightforward extension of this coefficient to standard Borel spaces (which includes all Polish spaces), overlooked in the literature so far, is proposed at the end of the survey.

研究の動機と目的

• 従属関係の明確な解釈を伴う、一貫した推定が可能な新しいノンパラメトリック相関係数 ξₙ の提案。
• 古典的相関係数が非単調な関係を検出できないという限界の解消。
• 実数値変数にとどまらず、一般の標準ボレル空間における応用を可能とする、係数の一般化。
• X を条件とする Z と Y 間の従属関係を測る条件付き従属係数 ξₙ(Z,Y|X) の定義。
• 理論的基盤の構築および、統計的仮説検定と分析に向けた R パッケージによる実装の提供。

提案手法

• 順序統計量を用いて ξₙ(X,Y) を定義：X でデータをソートし、Y の順位差を計算し、正規化された差分式を適用。
• 母集団レベルの従属関係測度を、ξ(X,Y) = ∫Var(𝔼[1_{Y≥t}|X])dμ(t) / ∫Var(1_{Y≥t})dμ(t) により定義（μ は Y の分布）。
• 一貫性の確立：n→∞ のとき ξₙ(X,Y) → ξ(X,Y) ほぼ everywhere に収束し、ξ(X,Y)=0 iff X⊥Y かつ ξ(X,Y)=1 iff Y=f(X) a.s. が成り立つ。
• 解釈性の向上のため、max(ξₙ(X,Y), ξₙ(Y,X)) を用いた対称化されたバージョンの構築。
• W=(X,Z) とおくとき、ξₙ(Z,Y|X) := (ξₙ(W,Y) - ξₙ(X,Y)) / (1 - ξₙ(X,Y)) を用いて条件付き従属関係への一般化。
• ボレル同相写像を用いて、標準ボレル空間に値をとる確率変数へと係数の拡張。

実験結果

リサーチクエスチョン

• RQ1 一貫した従属関係推定が可能で、非単調な関係を検出可能なノンパラメトリック相関係数を構築できるか？
• RQ2 提案された係数 ξₙ(X,Y) が、ほぼ everywhere に収束する極限 ξ(X,Y) を持ち、独立性下で 0、一方が他方の可測関数である場合に 1 に等しくなるか？
• RQ3 この係数を多変量および抽象確率空間における条件付き従属関係へと一般化できるか？
• RQ4 一般化された係数 ξₙ(Z,Y|X) は一貫的かつ条件付き従属関係の測定として解釈可能か？
• RQ5 この手法は効率的に実装可能であり、実データにおける独立性の仮説検定に応用可能か？

主な発見

• 係数 ξₙ(X,Y) はほぼ everywhere に収束し、ξ(X,Y) ∈ [0,1] となる。ξ(X,Y)=0 iff X と Y が独立、ξ(X,Y)=1 iff Y=f(X) a.s. が成り立つ。
• n=100 のとき、X と Y 間の独立性検定の平均 P 値は 0.001 であったのに対し、u と Y 間では 0.491 であった。これは従属関係を強く検出できることを示している。
• n=1000 のとき、X と Y 間の平均 P 値は 0.000 であったが、u と Y 間では 0.495 のまま維持され、大規模な標本でも強力な検出性能を示した。
• 一般化係数 ξₙ(Z,Y|X) はほぼ everywhere に収束し、極限 ξ(Z,Y|X) ∈ [0,1] となる。ξ(Z,Y|X)=0 iff Y⊥Z|X かつ ξ(Z,Y|X)=1 iff Y が X を条件とする Z の可測関数である。
• R パッケージ XICOR が CRAN で入手可能で、ξₙ、独立性の P 値、一般化係数の計算が可能。
• 条件付き従属関係推定および変数選択のための FOCI および KFOCI アルゴリズムが R パッケージとして実装済み。