[논문 리뷰] A Distribution Free Conditional Independence Test with Applications to Causal Discovery

Zhanrui Cai, Runze Li외 1명|arXiv (Cornell University)|2021. 05. 17.

Bayesian Modeling and Causal Inference참고 문헌 26인용 수 16

한 줄 요약

이 논문은 조건부 독립을 상호 독립으로 변환하기 위해 Rosenblatt 변환을 사용하는 분포 자유 조건부 독립 검정을 제안한다. 이로 인해 0에서 1 사이의 범위를 가지며 단조 증가 변환에 대해 불변인, 강건하고 계산 효율적인 인덱스를 도출할 수 있다. 이 방법은 다양한 데이터 유형에서 높은 검정력과 유의수준 제어를 유지하며 기존 방법보다 인과 추론 시뮬레이션에서 뛰어난 성능을 보인다.

ABSTRACT

This paper is concerned with test of the conditional independence. We first establish an equivalence between the conditional independence and the mutual independence. Based on the equivalence, we propose an index to measure the conditional dependence by quantifying the mutual dependence among the transformed variables. The proposed index has several appealing properties. (a) It is distribution free since the limiting null distribution of the proposed index does not depend on the population distributions of the data. Hence the critical values can be tabulated by simulations. (b) The proposed index ranges from zero to one, and equals zero if and only if the conditional independence holds. Thus, it has nontrivial power under the alternative hypothesis. (c) It is robust to outliers and heavy-tailed data since it is invariant to conditional strictly monotone transformations. (d) It has low computational cost since it incorporates a simple closed-form expression and can be implemented in quadratic time. (e) It is insensitive to tuning parameters involved in the calculation of the proposed index. (f) The new index is applicable for multivariate random vectors as well as for discrete data. All these properties enable us to use the new index as statistical inference tools for various data. The effectiveness of the method is illustrated through extensive simulations and a real application on causal discovery.

연구 동기 및 목표

• 비정규성과 비선형 종속성에 강건한 조건부 독립 검정을 개발하기 위해.
• 기존 검정이 渐近 분포나 부트스트랩 샘플링에 의존하여 계산 비용이 높은 데 대한 한계를 해결하기 위해.
• 신뢰할 수 있는 임계값 표를 만들 수 있도록 귀무분포가 분포 자유인 검정을 만들기 위해.
• 연속형 및 이산형 다변량 자료 모두에 적용 가능한 검정을 확보하기 위해.
• 모형 오Specification 및 무거운 尾部 데이터 하에서 검정력과 강건성을 향상시키기 위해.

제안 방법

• 이 방법은 조건부 독립 $X \perp\!\!\!\perp Y \mid Z$ 를 변환된 변수 $U = F_{X|Z}(X|Z)$, $V = F_{Y|Z}(Y|Z)$, $W = F_Z(Z)$ 의 상호 독립으로 변환하기 위해 Rosenblatt 변환을 사용한다.
• U, V, W 간의 상호의존도를 측정하기 위해 새로운 인덱스 $\rho$ 를 제안하며, 이는 대칭적이며 엄밀한 단조 증가 변환에 대해 불변인 닫힌 형태의 표현식을 갖는다.
• 인덱스 $\rho$ 는 0에서 1 사이의 값을 가지며, U, V, W 가 상호 독립일 때에만 0이 된다. 이는 귀무가설 하에서 정확한 크기 제어를 보장한다.
• 검정 통계량은 귀무가설 하에서 분포 자유이므로, 부트스트랩을 사용하지 않고도 사전 시뮬레이션을 통해 임계값을 미리 표기할 수 있다.
• 이 방법은 계산이 효율적이며, 이차 시간 복잡도($O(n^2)$)로 작동하며, 조정 파rameter에 민감하지 않다.
• 동일한 변환 및 인덱스 프레임워크를 통해 다변량 및 이산 확률 벡터로의 확장도 가능하다.

실험 결과

연구 질문

• RQ1 진정으로 분포 자유이며 渐近 근사나 부트스트랩에 의존하지 않는 조건부 독립 검정을 구성할 수 있는가?
• RQ2 단조 증가 변환에 대해 불변이고 이상치에 강건한 방식으로 변환된 변수 간의 상호의존도를 어떻게 측정할 수 있는가?
• RQ3 0에서 1 사이의 값을 가지며 조건부 독립 하에서 정확히 0이 되는 단일 인덱스를 설계할 수 있는가?
• RQ4 제안된 방법은 비정규, 무거운 꼬리 또는 이산 데이터 하에서도 높은 검정력과 유의수준 제어를 유지하는가?
• RQ5 기존 방법들인 부분상관계, KCI, CMI와 비교해 인과 추론 과제에서 어떻게 성능을 발휘하는가?

주요 결과

• 정규 오차 하에서 표본 크기 $n=300$ 에서 진짜 양성률이 78.9%에 도달하며, KCI(63.4%)와 CMI(59.0%)를 크게 앞서며 뛰어난 성능을 보였다.
• 균일 오차 하에서는 $n=300$ 에서 진짜 양성률이 73.6%에 도달하였고, KCI(56.4%)와 CMI(63.3%)를 모두 앞섰다.
• 거짓 양성률는 표본 크기가 증가함에 따라 0.113에서 0.103으로 약간 감소하여 안정적인 제1종 오류 제어를 보였다.
• 이 방법은 분포 오-specification에 강건하여 정규 및 균일 오차 분포 하에서도 높은 성능을 유지하였다.
• 계산이 효율적이며 $O(n^2)$ 시간 복잡도로 작동하며, 조정 파rameter나 복잡한 편향 보정이 필요하지 않다.
• 조건부 독립 하에서 인덱스 $\rho$ 는 정확히 0이며, 0에서 1 사이의 값을 가지므로 조건부 종속성의 명확하고 해석 가능한 측정값을 제공한다.