[논문 리뷰] Nonparametric testing of conditional independence by means of the partial copula

Wicher Bergsma|arXiv (Cornell University)|2011. 01. 24.

Statistical Methods and Inference참고 문헌 20인용 수 24

한 줄 요약

이 논문은 부분 커플라를 사용하여 세 번째 변수 X에 대해 두 확률변수 Y와 Z 사이의 조건부 독립성을 비모수적 방법으로 검정하는 방법을 제안한다. Y와 Z를 추정된 조건부 누적분포함수를 통해 조건부 순위로 변환함으로써, 추정 오차가 존재하더라도 점근적으로 타당한 추론이 가능한 조건부 독립성 검정을 일반 독립성 검정으로 환원한다.

ABSTRACT

We propose a new method to test conditional independence of two real random variables $Y$ and $Z$ conditionally on an arbitrary third random variable $X$. %with $F_{.|.}$ representing conditional distribution functions, The partial copula is introduced, defined as the joint distribution of $U=F_{Y|X}(Y|X)$ and $V=F_{Z|X}(Z|X)$. We call this transformation of $(Y,Z)$ into $(U,V)$ the partial copula transform. It is easy to show that if $Y$ and $Z$ are continuous for any given value of $X$, then $Y\ind Z|X$ implies $U\ind V$. Conditional independence can then be tested by (i) applying the partial copula transform to the data points and (ii) applying a test of ordinary independence to the transformed data. In practice, $F_{Y|X}$ and $F_{Z|X}$ will need to be estimated, which can be done by, e.g., standard kernel methods. We show that under easily satisfied conditions, and for a very large class of test statistics for independence which includes the covariance, Kendall's tau, and Hoeffding's test statistic, the effect of this estimation vanishes asymptotically. Thus, for large samples, the estimation can be ignored and we have a simple method which can be used to apply a wide range of tests of independence, including ones with consistency for arbitrary alternatives, to test for conditional independence. A simulation study indicates good small sample performance. Advantages of the partial copula approach compared to competitors seem to be simplicity and generality.

연구 동기 및 목표

• 연속 확률변수 Y와 Z 사이의 조건부 독립성을 일반적이고 비모수적인 방법으로 검정하기 위한 방법 개발
• Y, Z와 X 사이의 주변적 의존성 구조가 조건부 의존성의 진실한 구조를 가리킬 수 있는 문제 해결
• 조건부 분포함수를 데이터로부터 추정할 경우에도 점근적으로 타당한 추론을 유지할 수 있는 방법 제공
• 다양한 기존의 독립성 검정 통계량(예: 상관계수, 켄달의 타우, 훌딩 통계량)을 변환을 통해 조건부 독립성 검정에 효과적으로 활용할 수 있도록 하기
• 시뮬레이션 연구와 실데이터 분석을 통해 방법의 실용적 유용성을 입증하고, 유의수준 제어와 검정력이 양호함을 보여줌

제안 방법

• F_{Y|X}와 F_{Z|X}가 각각 Y|X와 Z|X의 조건부 누적분포함수일 때, 부분 커플라를 U = F_{Y|X}(Y|X)와 V = F_{Z|X}(Z|X)의 공동분포로 정의한다.
• 추정된 조건부 CDF를 사용하여 데이터에 부분 커플라 변환을 적용하여 각 (X_i, Y_i, Z_i)를 (U_i, V_i)로 변환한다.
• 변환된 (U_i, V_i) 쌍에 대해 표준 비모수적 독립성 검정(예: 상관계수, 켄달의 타우, 훌딩 검정)을 사용하여 H_0: Y ⊥⊥ Z | X 를 검정한다.
• 약한 정규성 조건 하에서, 공분산 기반 및 순위 기반을 포함한 광범위한 통계량의 점근적 귀무분포가 F_{Y|X}와 F_{Z|X}의 추정에 영향을 받지 않음을 입증한다.
• 밴드위드 h = 1.75√(λ/n)로 데이터 기반 공식을 사용하여 나다라야-워슨 커널 회귀를 통해 조건부 CDF를 추정한다.
• 변환된 데이터에 대해 순열 검정을 적용하여 p-값을 산출함으로써 귀무가설 하에서의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 조건부 분포의 추정에 대해 강건한 일반적인 비모수적 방법을 개발할 수 있는가?
• RQ2 조건부 CDF가 알려져 있지 않고 추정된 경우에도 일반적인 통계량의 점근적 분포가 유지되는가?
• RQ3 소표본에서의 성능, 특히 유의수준 제어와 검정력 측면에서의 성능은 어떠한가?
• RQ4 표준 독립성 검정(예: 켄달의 타우, 훌딩 검정)을 부분 커플라 변환을 통해 조건부 독립성 검정에 효과적으로 재사용할 수 있는가?
• RQ5 밴드위드 선택과 노이즈 대 신호 비율이 유한 표본에서의 성능에 어떤 영향을 미치는가?

주요 결과

• 공분산, 켄달의 타우, 훌딩의 Δ를 포함한 광범위한 통계량의 점근적 귀무분포는 조건부 CDF의 추정에 영향을 받지 않아, 대표표본에서 타당한 추론이 가능하다.
• 시뮬레이션 결과, n = 20 및 n = 100일 때, λ ∈ {0.1, 0.3, 0.5, 0.7}의 다양한 노이즈 대 신호 비율에서 유의수준 0.05 수준에 가까운 유의수준 제어가 유지됨을 보여줌.
• n = 100 및 중간 정도의 λ일 경우, 조건화에 의한 검정력 손실이 최소화되며, 검정력 곡선이 무조건적 독립성 검정의 결과에 가까워짐.
• λ가 매우 작을 경우(즉, 강한 오버피팅), 밴드위드 선택이 불안정해지고 추정 오차가 지배적이 되므로 방법의 성능이 붕괴됨.
• n = 100일 경우, 다양한 밴드위드가 유의수준 제어를 수용 가능한 수준으로 유지함을 보여, 밴드위드 선택에 대해 강건함.
• 디고크신 데이터 응용에서 부분 커플라 기반 검정의 p-값은 피어슨 상관계수의 0.018에서 훌딩의 Δ의 0.107까지 다양하게 나타나, 대부분의 통계량에서 조건부 독립성에 대한 반증이 있음.