[논문 리뷰] Conditional independence testing based on a nearest-neighbor estimator of conditional mutual information

Jakob Runge|arXiv (Cornell University)|2017. 09. 05.

Bayesian Modeling and Causal Inference인용 수 66

한 줄 요약

연속 변수의 조건 독립성에 대한 완전 비모수 검정으로, 최근접 이웃 기반의 조건 상호정보(CMI) 추정치를 로컬 치환 방식과 결합하여 고도로 국지화된 밀도 및 비선형 의존성에 적응할 수 있게 한다.

ABSTRACT

Conditional independence testing is a fundamental problem underlying causal discovery and a particularly challenging task in the presence of nonlinear and high-dimensional dependencies. Here a fully non-parametric test for continuous data based on conditional mutual information combined with a local permutation scheme is presented. Through a nearest neighbor approach, the test efficiently adapts also to non-smooth distributions due to strongly nonlinear dependencies. Numerical experiments demonstrate that the test reliably simulates the null distribution even for small sample sizes and with high-dimensional conditioning sets. The test is better calibrated than kernel-based tests utilizing an analytical approximation of the null distribution, especially for non-smooth densities, and reaches the same or higher power levels. Combining the local permutation scheme with the kernel tests leads to better calibration, but suffers in power. For smaller sample sizes and lower dimensions, the test is faster than random fourier feature-based kernel tests if the permutation scheme is (embarrassingly) parallelized, but the runtime increases more sharply with sample size and dimensionality. Thus, more theoretical research to analytically approximate the null distribution and speed up the estimation for larger sample sizes is desirable.

연구 동기 및 목표

• 연속적이고 가능하면 비선형이며 고차원 데이터의 조건 독립성 테스트를 다룬다.
• 조건부 상호정보(CMI)에 기초한 완전 비모수적 CI 검정을 개발한다.
• Z 의존성을 파괴하지 않으면서 영가설 분포를 생성하기 위한 로컬 최근접 이웃 치환 스킴을 도입한다.
• 다양한 시나리오에서 커널 기반 CI 검정과 비교하여 보정 성능이 우수하고 검력도 경쟁력이 있음을 보인다.

제안 방법

• k_CMI로 지정된 k를 사용하여 X,Y,Z 결합 공간에서 Kozachenko-Leonenko 형의 k-최근접 이웃 엔트로피 추정기를 사용하여 CMI를 추정한다.
• CMI 추정량 Ĩ_{XY|Z}를 계산한다: Ĩ_{XY|Z} = ψ(k) + (1/n) sum_i [ψ(k_{Z,i}) - ψ(k_{XZ,i}) - ψ(k_{YZ,i})].
• 각 샘플에 대해 X,Y,Z 결합 공간에서 k_CMI 번째 최근접 이웃으로부터 ε_i를 결정하고, 이를 이용해 각 부분공간에서 k_{XZ,i}, k_{YZ,i}, k_{Z,i}를 카운트한다.
• 로컬 최근접 이웃 치환 스킴을 사용하여 대체 표본을 생성한다: Z를 보존하면서 X–Z 구조를 유지한 채 각 X 값이 Z의 임의 이웃으로 매핑되게 한다.
• B개의 대체 표본을 통해 영분포를 생성하고, Ĩ(X;Y|Z) 이상인 대체 표본의 비율로 p-값을 계산한다.
• 효율성을 위한 KD-트리 기반 최근접 이웃 탐색을 제공하고, 방법의 데이터 적응적 특성과 k 및 차원 D에서 선형에 가까운 스케일링을 주목한다.

실험 결과

연구 질문

• RQ1 얼마나 작은 표본 크기와 높은 차원의 Z에 대해 CMI의 최근접 이웃 추정자를 사용하는 완전 비모수적 CI 검정이 신뢰성을 유지할 수 있는가?
• RQ2 최근접 이웃을 기반으로 한 로컬 치환 스킴이 비선형 의존성 하에서 커널 기반 CI 검정에 비해 잘 보정된 영분포와 경쟁력 있는 검력을 제공하는가?
• RQ3 k_CMI와 k_perm의 선택이 표본 크기와 조건 집합 차원에 따라 보정, 검력 및 실행 시간에 어떻게 영향을 미치는가?
• RQ4 제안된 CMIknn 방법이 비선형 의존성에서 발생하는 고도로 국지화된 밀도와 비매끄러운 밀도에 대해 강인한가?

주요 결과

• CMIknn은 작에서 중간 크기의 샘플 크기와 고차원 조건화에서 잘 보정된 영분포를 산출하며, 어려운 밀도에서 여러 커널 기반 테스트보다 보정 면에서 우수하다.
• 로컬 치환 스킴은 전체 또는 분석적 영분포 근사에 비해 보정을 향상시키며, 특히 작은 n에서 그렇다.
• CMIknn은 다수의 비선형 설정에서 KCIT, RCIT, RCoT, CDC와 비교해 동등하거나 더 큰 검력을 달성하며, 특히 고도로 비선형 의존성에서 강력한 성능을 보인다.
• 작은 샘플 크기의 경우 KD-트리 이웃 탐색을 사용할 때 RCIT/RCoT보다 빠를 수 있지만, 치환 스텝이 상당한 계산 부하를 추가한다.
• 커널 테스트를 로컬 치환 스킴과 결합하면 보정을 더 개선할 수 있지만 검력은 다소 희생된다.
• 저자들은 GitHub 저장소에서 CMIknn을 구현한 자유롭게 이용 가능한 코드를 제공한다.