[논문 리뷰] Testing Conditional Independence on Discrete Data using Stochastic Complexity

Alexander Marx, Jilles Vreeken|arXiv (Cornell University)|2019. 03. 12.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 11

한 줄 요약

이 논문은 표본 효율성이 향상된 조건부 상관 없음 테스트인 SCI를 제안한다. 이는 이산 데이터를 대상으로 하며, 스튜어티드 복잡도 기반으로 fNML 변형을 사용해 조건부 상호정보(CMI)를 추정한다. SCI는 CMI에 대해 渐近적으로 편향이 없고 L₂로 일致하며, 기존의 G² 및 감마 임계값을 사용하는 CMI와 비교해 실증적으로 뛰어난 성능을 보이며, 정밀도를 희생시키지 않은 채 인과 추론에서 유의미하게 높은 재현율을 달성한다.

ABSTRACT

Testing for conditional independence is a core aspect of constraint-based causal discovery. Although commonly used tests are perfect in theory, they often fail to reject independence in practice, especially when conditioning on multiple variables. We focus on discrete data and propose a new test based on the notion of algorithmic independence that we instantiate using stochastic complexity. Amongst others, we show that our proposed test, SCI, is an asymptotically unbiased as well as $L_2$ consistent estimator for conditional mutual information (CMI). Further, we show that SCI can be reformulated to find a sensible threshold for CMI that works well on limited samples. Empirical evaluation shows that SCI has a lower type II error than commonly used tests. As a result, we obtain a higher recall when we use SCI in causal discovery algorithms, without compromising the precision.

연구 동기 및 목표

• 기존의 조건부 상관 없음 테스트가 이산 데이터, 특히 제한된 표본과 높은 조건부 차원에서 떨어진 성능을 보이는 문제를 해결하기 위해.
• 조건부 상호정보(CMI) 추정에 대해 渐近적으로 편향이 없고 L₂로 일치하는 테스트를 개발하기 위해.
• 표본 크기, 도메인 크기, 경험적 확률 분포를 고려한 원칙적이고 데이터 기반의 CMI 임계값을 제공하기 위해.
• 다중 변수에 대해 조건부 처리할 때 유형 II 오류를 줄여 인과 추론 알고리즘에서 재현율을 향상시키기 위해.

제안 방법

• SCI는 알고리즘적 조건부 상관 없음 개념에서 유도되며, fNML(finite NML) 분포를 통해 스튜어티드 복잡도로 구현된다.
• 이 방법은 조건부 변수의 경험적 확률 질량 함수를 포함하는 fNML 분포를 사용해 CMI를 추정하며, 간단한 근사와는 다릅니다.
• SCI는 fNML 분포에서 유도된 임계값을 사용해 통계적 유의성을 판단하며, 점근적 근사나 감마 분포의 분위수에 의존하지 않습니다.
• 이 접근법은 제한된 표본에서 탐지 능력을 향상시키기 위해 합리적이고 데이터 적응형의 CMI 임계값을 허용하도록 재구성됩니다.
• fNML 기반 변형(SCI_f)은 qNML(SCI_q), 감마 기반 임계값(CMI_Γ), G² 테스트와 다수의 실험 설정에서 비교됩니다.
• 이 방법은 합성 및 실세계 데이터(예: Alarm 네트워크)를 사용한 안정된 PC 및 PCMB 알고리즘을 통한 인과 추론 파이프라인에서 평가된다.

실험 결과

연구 질문

• RQ1 G²나 감마 임계값을 사용하는 CMI와 같은 기존 방법보다 스토하스틱 복잡도 기반 접근이 이산 데이터에서 조건부 상관 없음 테스트에 더 신뢰성 있고 강력한 성능을 보일 수 있는가?
• RQ2 스튜어티드 복잡도의 fNML 구현이 qNML나 경험적 추정과 같은 다른 형태보다 조건부 상호정보(CMI) 추정에 더 정확하고 일관된 추정기를 제공하는가?
• RQ3 다중 변수에 대해 조건부 처리할 때 표본 크기와 도메인 크기가 다양할 경우 SCI의 유형 I 및 유형 II 오류 비율은 어떻게 되는가?
• RQ4 특히 고차원 조건부 상황에서 정밀도를 떨어뜨리지 않고 SCI가 인과 추론 알고리즘의 재현율을 향상시킬 수 있는가?
• RQ5 이론적 결과에서 제안된 바와 같이 SCI가 비선형 표본 복잡도를 보이며, 이를 실증적으로 검증할 수 있는가?

주요 결과

• SCI_f는 소규모 표본 크기에서 안정된 PC 알고리즘의 무방향 그래프에서 F1 점수 측면에서 G², CMI_Γ 및 기타 기준보다 뚜렷이 뛰어나다.
• Alarm 네트워크에서 마르코프 블랭킷 추론에서 SCI_f는 모든 경쟁 방법보다 높은 재현율을 달성하며, 특히 더 큰 수의 변수에 대해 조건부 처리할 때 두드러진 이점이 있다.
• 도메인 크기가 증가하는 합성 데이터(최대 20까지)에서 SCI_f만이 높은 정확도를 유지하며, 다른 테스트들은 100%의 가짜 양성률을 보이며 정확도가 50%로 감소한다.
• SCI_f는 표본 수가 적고 노이즈가 높은 환경에서 기존 테스트에 비해 유형 II 오류를 줄이며, 진정된 조건부 상관 없음을 더 잘 탐지할 수 있다.
• 실증 결과는 SCI가 비선형 표본 복잡도를 보이며, 향후 이론적 검증이 가능할 수 있음을 시사한다.
• SCI_f는 도메인 크기와 표본 크기가 다양할 때도 높은 성능을 유지하며, 데이터 희소성과 높은 조건부 차원성에 대한 강건성을 보여준다.