[논문 리뷰] Learning Causal Graphs with Small Interventions

Karthikeyan Shanmugam, Murat Kocaoglu외 2명|arXiv (Cornell University)|2015. 10. 30.

Bayesian Modeling and Causal Inference참고 문헌 11인용 수 19

한 줄 요약

이 논문은 간섭 크기가 제한된 조건에서 인과적 DAG를 학습하기 위한 새로운 결정적 적응형 알고리즘을 제안한다. 이 알고리즘은 순환 그래프 구조와 미크 규칙을 활용하여 거의 최적의 성능를 달성한다. 연구에서는 완전 그래프를 학습하기 위해 분리 체계가 조건부로 필요하다는 것을 증명하고, 더 단순한 거의 최적의 분리 체계 구성법을 제안하며, 시뮬레이션을 통해 기존 방법과 비교해 훨씬 적은 수의 간섭이 필요하다는 것을 보여준다. 이는 정보 이론적 하한에 매우 가까운 결과를 얻는다.

ABSTRACT

We consider the problem of learning causal networks with interventions, when each intervention is limited in size under Pearl's Structural Equation Model with independent errors (SEM-IE). The objective is to minimize the number of experiments to discover the causal directions of all the edges in a causal graph. Previous work has focused on the use of separating systems for complete graphs for this task. We prove that any deterministic adaptive algorithm needs to be a separating system in order to learn complete graphs in the worst case. In addition, we present a novel separating system construction, whose size is close to optimal and is arguably simpler than previous work in combinatorics. We also develop a novel information theoretic lower bound on the number of interventions that applies in full generality, including for randomized adaptive learning algorithms. For general chordal graphs, we derive worst case lower bounds on the number of interventions. Building on observations about induced trees, we give a new deterministic adaptive algorithm to learn directions on any chordal skeleton completely. In the worst case, our achievable scheme is an $α$-approximation algorithm where $α$ is the independence number of the graph. We also show that there exist graph classes for which the sufficient number of experiments is close to the lower bound. In the other extreme, there are graph classes for which the required number of experiments is multiplicatively $α$ away from our lower bound. In simulations, our algorithm almost always performs very close to the lower bound, while the approach based on separating systems for complete graphs is significantly worse for random chordal graphs.

연구 동기 및 목표

• 각 간섭이 k개의 변수로 제한될 때 인과적 DAG를 학습하기 위해 필요한 간섭 수를 최소화하는 것.
• 적응형 알고리즘이 worst-case 상황에서 분리 체계에 의해 요구되는 수보다 간섭 수를 줄일 수 있는지 여부에 대한 열린 질문을 해결하는 것.
• 이론적 하한에 매우 가까운 성능를 보이는 실용적이고 효율적인 순환 인과 그래프 스케letal을 위한 알고리즘 개발.
• 결정적 및 랜덤화된 적응형 알고리즘에 대한 정보 이론적 및 조합적 하한을 더 견고하게 설정하는 것.
• 무작위 순환 그래프에서 새로운 알고리즘의 성능를 기존의 분리 체계 기반 방법과 비교하는 것.

제안 방법

• 모든 결정적 적응형 알고리즘이 완전 그래프를 학습하기 위해 (n,k)-분리 체계를 사용해야 한다는 것을 증명하여, 조건부 조건에서도 분리 체계의 필요성을 입증한다.
• 기존의 구성법보다 더 단순하면서도 알려진 하한에 매우 가까운 (n,k)-분리 체계의 새로운 구성법을 제안한다. 이는 더 넓은 조합적 응용 가능성을 지닌다.
• 랜덤화된 적응형 알고리즘에 대한 일반적인 정보 이론적 하한을 Ω(n/(2k))로 유도하며, 이는 이전 결과를 간섭 크기 제한 조건으로 확장한 것이다.
• 각 간섭 후에 메크 규칙을 반복 적용하는 방식으로 트리 유사한 구조를 활용하는 새로운 결정적 적응형 알고리즘을 개발한다.
• 순환 스케letal의 색수 χ(G)를 핵심 매개변수로 사용하여 필요한 간섭 수를 제한하며, 독립 수 α에 대해 α-근사 성능를 달성한다.
• 완전 제거 순서와 유도된 트리를 기반으로 한 재귀적 제거 전략을 활용하여 간섭 선택을 유도함으로써, 각 실험에서 인과적 방향을 최대한으로 탐지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 완전 그래프의 worst-case 상황에서, 적응형 알고리즘이 분리 체계 요구 조건 이하의 간섭 수로 줄일 수 있는가?
• RQ2 제한된 간섭 크기 조건에서 더 단순하고 거의 최적의 분리 체계 구성법을 개발할 수 있는가?
• RQ3 제한된 간섭 크기 조건에서 랜덤화된 적응형 알고리즘의 간섭 수에 대한 가장 날카로운 정보 이론적 하한은 무엇인가?
• RQ4 무작위 순환 그래프에서 순환 구조 기반의 새로운 적응형 알고리즘의 성능는 기존의 분리 체계 기반 방법과 비교해 어떻게 되는가?
• RQ5 어떤 그래프 클래스에서는 간섭 수가 하한에 매우 가까운 반면, 다른 그래프에서는 훨씬 더 나쁜 성능를 보이는가?

주요 결과

• 모든 결정적 적응형 알고리즘은 완전 그래프를 학습하기 위해 (n,k)-분리 체계를 사용해야 하며, 이는 적응형 조건에서도 비결정적 분리 체계에 의해 요구되는 worst-case 요구량 이하로 줄일 수 없다는 것을 증명한다.
• 제안된 분리 체계 구성법은 이전의 구성법보다 더 단순하며, 알려진 하한에 매우 가까운 크기를 달성하여 실용적·이론적 이점이 있다.
• 랜덤화된 적응형 알고리즘의 경우, 크기가 최대 k인 O(n/k log log k)회의 간섭이 고도의 확률로 충분하며, 정보 이론적 하한은 Ω(n/(2k))이다.
• 무작위 순환 그래프에서, χ=100이고 k=10일 때 제안된 알고리즘은 최대 약 40회의 간섭이 필요하지만, 단순한 분리 체계 기반 접근법은 약 130회의 간섭이 필요하여 뚜렷한 경험적 우수성을 보였다.
• 새로운 알고리즘은 χ(G)에 기반한 이론적 하한에 매우 가까운 성능를 보였고, 반면 분리 체계 기반 방법은 n/k에 비례하여 증가하므로 희박한 그래프에서는 χ/k보다 훨씬 크다.
• 두 가지 극단적인 그래프 클래스를 규명하였다: 하나는 간섭 수가 하한에 매우 가까운 반면, 다른 하나는 하한의 Ω(α)배에 이르는 성능를 보여, 그래프 구조가 성능에 미치는 영향을 강조한다.