[논문 리뷰] A survey of some recent developments in measures of association

Sourav Chatterjee|arXiv (Cornell University)|2022. 11. 09.

Advanced Harmonic Analysis Research인용 수 4

한 줄 요약

이 논문은 랭크와 순서 통계량을 기반으로 하며, 임의의 변수 간의 의존도를 일致하게 추정하는 새로운 비모수적 상관계수 ξₙ을 제안한다. 이때 극한값 ξ(X,Y)는 X와 Y가 서로 독립일 때와 동시에 0이 되며, Y가 X의 가측 함수일 때와 동시에 1이 된다. 이 방법은 표준 보렐 공간으로 확장되며, 일반화된 계수 ξₙ(Z,Y|X)를 통해 조건부 의존도 측정에도 응용된다.

ABSTRACT

This paper surveys some recent developments in measures of association related to a new coefficient of correlation introduced by the author. A straightforward extension of this coefficient to standard Borel spaces (which includes all Polish spaces), overlooked in the literature so far, is proposed at the end of the survey.

연구 동기 및 목표

• 의존도를 명확히 해석할 수 있는 새로운 비모수적 상관계수 ξₙ을 제안하여 일관된 의존도 추정을 수행한다.
• 기존 상관계수의 비단조화적 관계를 탐지하는 데서 비롯된 한계를 해결한다.
• 실수값 변수를 넘어서 일반적인 표준 보렐 공간으로의 확장을 통해 더 넓은 적용 가능성을 확보한다.
• X를 조건으로 하여 Z와 Y 간의 의존도를 측정하는 조건부 의존도 계수 ξₙ(Z,Y|X)를 정의한다.
• 이론적 기반을 제공하고, 통계적 검정 및 분석을 위한 R 패키지를 통한 실용적 구현을 제시한다.

제안 방법

• X에 따라 데이터를 정렬하고, Y의 랭크 기반 차이를 계산한 후 정규화된 차이 공식을 적용하여 ξₙ(X,Y)를 정의한다.
• 모집단 수준의 의존도 측정을 위해 극한 형태인 ξ(X,Y) = ∫Var(𝔼[1_{Y≥t}|X])dμ(t) / ∫Var(1_{Y≥t})dμ(t)를 사용한다. 여기서 μ는 Y의 법칙이다.
• 일관성 확보: n→∞ 일 때 ξₙ(X,Y) → ξ(X,Y) 거의 확실히 수렴하며, ξ(X,Y)=0 iff X⊥Y 이고, ξ(X,Y)=1 iff Y=f(X) a.s. 이다.
• 해석 가능성 향상을 위해 max(ξₙ(X,Y), ξₙ(Y,X))를 취하여 대칭화된 버전을 구성한다.
• W=(X,Z)일 때, ξₙ(Z,Y|X) := (ξₙ(W,Y) - ξₙ(X,Y)) / (1 - ξₙ(X,Y))를 통해 조건부 의존도로 일반화한다.
• 보렐 동형사상(보렐 위상의 동형사상)을 사용하여 표준 보렐 공간에 값이 존재하는 랜덤 변수로의 계수 확장을 수행한다.

실험 결과

연구 질문

• RQ1 비모수적 상관계수를 구성할 수 있는가? 이는 의존도를 일관되게 추정하고 비단조화적 관계를 탐지할 수 있어야 한다.
• RQ2 제안된 계수 ξₙ(X,Y)는 거의 확실히 극한값 ξ(X,Y)로 수렴하는가? 이때 ξ(X,Y)=0은 독립일 때, Y가 X의 가측 함수일 때와 동시에 1이 되는가?
• RQ3 이 계수는 다변량 및 추상 확률 공간에서의 조건부 의존도로 일반화될 수 있는가?
• RQ4 일반화된 계수 ξₙ(Z,Y|X)는 일관되고 조건부 의존도 측정으로서 해석 가능한가?
• RQ5 이 방법은 효율적으로 구현되어 실제 데이터에서 독립성에 대한 가설 검정에 사용될 수 있는가?

주요 결과

• 계수 ξₙ(X,Y)는 거의 확실히 ξ(X,Y) ∈ [0,1]로 수렴하며, ξ(X,Y)=0 iff X와 Y가 독립이고, ξ(X,Y)=1 iff Y=f(X) a.s. 이다.
• n=100일 때, X와 Y 간의 독립성 검정에 대한 평균 P-값은 0.001이었고, u와 Y 사이에선 0.491이었으며, 이는 의존도 탐지에 강력한 검정력을 보임을 시사한다.
• n=1000일 때, X와 Y의 평균 P-값은 0.000이었고, u와 Y 사이에선 여전히 0.495였으며, 이는 더 큰 표본 크기에서도 강력한 탐지 능력을 보임을 보여준다.
• 일반화된 계수 ξₙ(Z,Y|X)는 거의 확실히 극한값 ξ(Z,Y|X) ∈ [0,1]로 수렴하며, 이는 Y⊥Z|X일 때와 동시에 0이고, X를 조건으로 하여 Y가 Z의 가측 함수일 때와 동시에 1이다.
• R 패키지 XICOR가 CRAN에 공개되어 있어 ξₙ, 독립성 검정을 위한 P-값, 일반화된 계수를 계산할 수 있다.
• FOCI 및 KFOCI 알고리즘은 R 패키지를 통해 조건부 의존도 추정 및 변수 선택에 대해 실현 가능하게 구현되어 있다.