[논문 리뷰] A Recursive Markov Boundary-Based Approach to Causal Structure Learning

Ehsan Mokhtarian, Sina Akbari외 2명|arXiv (Cornell University)|2020. 10. 10.

Bayesian Modeling and Causal Inference참고 문헌 26인용 수 4

한 줄 요약

이 논문은 MARVEL을 제안한다. MARVEL은 마르코프 경계 정보를 활용하여 d-분리 관계를 유지하는 '제거 가능한' 변수—즉, 제거해도 d-분리 관계가 유지되는 변수—를 식별하고 제거하는 재귀적 제약 기반 원인 구조 학습 방법이다. 이를 통해 필수적인 조건부 인력 독립성(CI) 테스트 수를 줄인다. 이 방법은 CI 테스트 수에 대해 𝒪(pΔ_in²2^Δ_in)의 상한선을 확보하며, 이는 이전 최고 수준의 상한선보다 크게 향상되었고, 동시에 동일한 하한선 Ω(p² + pΔ_in2^Δ_in)을 확립함으로써 이론적 효율성을 입증한다.

ABSTRACT

Constraint-based methods are one of the main approaches for causal structure learning that are particularly valued as they are asymptotically guaranteed to find a structure that is Markov equivalent to the causal graph of the system. On the other hand, they may require an exponentially large number of conditional independence (CI) tests in the number of variables of the system. In this paper, we propose a novel recursive constraint-based method for causal structure learning that significantly reduces the required number of CI tests compared to the existing literature. The idea of the proposed approach is to use Markov boundary information to identify a specific variable that can be removed from the set of variables without affecting the statistical dependencies among the other variables. Having identified such a variable, we discover its neighborhood, remove that variable from the set of variables, and recursively learn the causal structure over the remaining variables. We further provide a lower bound on the number of CI tests required by any constraint-based method. Comparing this lower bound to our achievable bound demonstrates the efficiency of the proposed approach. Our experimental results show that the proposed algorithm outperforms state-of-the-art both on synthetic and real-world structures.

연구 동기 및 목표

• 변수 수에 따라 지수적으로 증가할 수 있는 조건부 인력 독립성(CI) 테스트 수를 줄이기 위해 제약 기반 원인 구조 학습에서 요구되는 CI 테스트 수를 줄이는 것.
• 마르코프 경계 정보를 바탕으로 통계적 의존성에 영향을 주지 않는 변수를 식별하고 제거하는 재귀적 프레임워크를 개발하는 것.
• 모든 제약 기반 방법이 요구하는 CI 테스트 수의 이론적 하한선을 설정하여 효율성의 기준을 제시하는 것.
• 제안된 방법인 MARVEL이 기존 방법보다 증명 가능한 더 낫지 않은 상한선을 달성하는가를 보여주는 것.

제안 방법

• d-분리 관계를 모두 유지하는 DAG에서 변수를 제거해도 영향을 주지 않는 '제거 가능한 변수'의 개념을 도입한다. 이는 이웃 및 마르코프 경계의 구조를 그래픽적으로 기반으로 정의한다.
• 마르코프 경계 탐색 알고리즘(예: PC 또는 유사 알고리즘)을 활용하여 각 변수의 마르코프 경계를 식별함으로써 제거 가능한 변수를 식별한다.
• 재귀적 절차를 적용한다: 제거 가능한 변수를 식별하고, 그 간선을 방향화하며, 그래프에서 제거하고, 나머지 변수들의 마르코프 경계 정보를 갱신한다.
• 원인 DAG의 진입 차수 Δ_in을 복잡도를 제한하는 핵심 매개변수로 활용하며, 최악의 경우 CI 테스트 수를 분석한다.
• 재귀적 변수 제거와 제한된 마르코프 경계 크기를 활용하여, MARVEL의 CI 테스트 수에 대해 𝒪(pΔ_in²2^Δ_in)의 상한선을 유도한다.
• 대조적 그래프 구성 기법을 사용하여, 어떤 제약 기반 방법도 최소 Ω(p² + pΔ_in2^Δ_in)의 CI 테스트를 요구한다는 것을 증명함으로써, 이론적 하한선을 확립한다.

실험 결과

연구 질문

• RQ1 마르코프 경계 정보를 활용하는 재귀적 접근이 제약 기반 원인 구조 학습에서 요구되는 조건부 인력 독립성 테스트 수를 줄일 수 있는가?
• RQ2 모든 제약 기반 방법이 요구하는 CI 테스트 수의 이론적 최소값은 얼마이며, 이를 달성 가능한 상한선과 비교해 볼 때 어떻게 되는가?
• RQ3 '제거 가능한 변수'의 개념을 공식적으로 정의하고 그래픽적으로 특성화하여 효율적인 재귀적 구조 학습을 가능하게 할 수 있는가?
• RQ4 제안된 MARVEL 알고리즘이 기존 최고 수준의 방법보다 증명 가능한 더 낫지 않은 상한선을 달성하는가?

주요 결과

• MARVEL는 최악의 경우 요구되는 조건부 인력 독립성 테스트 수를 𝒪(pΔ_in²2^Δ_in)로 줄였으며, 이는 이전 최고 수준의 상한선 𝒪(p²2^α) 및 𝒪(p² + pα²2^α)보다 상당히 향상된 것이다. 여기서 α는 최대 마르코프 경계 크기이다.
• 이론적으로 동일한 하한선 Ω(p² + pΔ_in2^Δ_in)을 확립함으로써, 제안된 상한선이 상수 요소를 제외한 점근적으로 최적임을 입증한다.
• d-분리를 유지하는 변수들—즉, 제거 가능한 변수들—의 재귀적 제거를 통해 통계적 동치성을 유지하면서 변수 집합을 효율적으로 정제할 수 있다.
• 이론적 분석 결과, 최악의 경우에도 진입 차수 Δ_in이 유한할 경우 변수 수에 대해 지수적 증가보다 더 느린 비율로 CI 테스트 수가 증가함을 보여준다.
• 합성 및 실세계 데이터셋에 대한 실험 결과, MARVEL는 효율성과 원인 구조 복원 정확도 측면에서 기존 최고 수준의 방법들을 능가함을 입증한다.
• 특정 그래프(예: 군집화된 완전 그래프 및 공백 그래프)를 구성함으로써, 어떤 제약 기반 방법도 최악의 경우 Ω(p² + pΔ_in2^Δ_in)의 CI 테스트 수 이하로 수행할 수 없음을 증명한다.