[논문 리뷰] Consistency Guarantees for Greedy Permutation-Based Causal Inference Algorithms

Liam Solus, Yuhao Wang외 1명|arXiv (Cornell University)|2017. 02. 12.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 인과적 구조 학습에서 탐욕형 순열 기반 알고리즘에 대한 최초의 일致성 보장 결과를 제시한다. 이는 순열체의 부분다면체인 DAG 아소시아헤드론 위에서 수행되는 탐욕형 최소 밀도 순열 탐색이, 충실성 가정보다 더 약한 조건 하에서도 균일성과 고차원 일致성을 달성함을 보여준다. 이 방법은 효율적으로 확장 가능하며, 시뮬레이션 및 실제 데이터에서 기존 알고리즘을 능가하면서도 이론적 엄밀함을 유지한다.

ABSTRACT

Directed acyclic graphical models, or DAG models, are widely used to represent complex causal systems. Since the basic task of learning such a model from data is NP-hard, a standard approach is greedy search over the space of directed acyclic graphs or Markov equivalence classes of directed acyclic graphs. As the space of directed acyclic graphs on $p$ nodes and the associated space of Markov equivalence classes are both much larger than the space of permutations, it is desirable to consider permutation-based greedy searches. Here, we provide the first consistency guarantees, both uniform and high-dimensional, of a greedy permutation-based search. This search corresponds to a simplex-like algorithm operating over the edge-graph of a sub-polytope of the permutohedron, called a DAG associahedron. Every vertex in this polytope is associated with a directed acyclic graph, and hence with a collection of permutations that are consistent with the directed acyclic graph ordering. A walk is performed on the edges of the polytope maximizing the sparsity of the associated directed acyclic graphs. We show via simulated and real data that this permutation search is competitive with current approaches.

연구 동기 및 목표

• 탐욕형 순열 기반 인과 추론 알고리즘에 대한 이론적 일치성 보장의 부족을 해결하기 위해.
• 비탐욕형 최소 밀도 순열 알고리즘의 계산 비용이 O(p!)에 이르는 대안을 확장 가능하게 개발하기 위해.
• 충실성 가정보다 더 약한 조건 하에서도 균일성과 고차원 일치성을 확립하여 강건한 구조 학습을 가능하게 하기 위해.
• 시뮬레이션 및 실제 데이터에서 최신 기법인 PC-알고리즘과 탐욕형 등가성 탐색(GES)과의 경쟁적 성능을 입증하기 위해.

제안 방법

• 알고리즘은 각 정점가 DAG와 그 일관성 있는 순열에 대응하는 다면체인 DAG 아소시아헤드론을 기반으로 작동한다. 이는 순열체의 부분다면체이다.
• 간단체 유사 탐색을 DAG 아소시아헤드론의 변을 따라 수행하며, 점수 함수를 향상시키는 변의 전환을 통해 매 단계에서 더 흐린 DAG를 선호한다.
• 가우스 그래프 모델에서 부분 상관관계를 사용한 조건부 인적 테스트를 통해 간선 존재 여부를 추론하기 위해 가설 검정을 사용한다.
• 최소 차수 히وري스틱을 사용해 순열 선택을 안내함으로써 탐색 공간을 줄이고 계산 효율성을 향상시킨다.
• 고차원 점근적 조건 하에서 점수 함수의 정확한 순열 복원 확률에 대한 경계를 설정함으로써 이론적 일치성을 확립한다. 이는 부분 상관관계 테스트에 대한 농도 부등식을 활용한다.
• 모든 순열을 나열하지 않고도 점수를 향상시키는 이동만 제한함으로써 이전 연구에서 사용된 이동의 엄밀한 부분집합을 형성함으로써 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 인과적 구조 학습을 위한 탐욕형 순열 기반 알고리즘이 이론적 일치성 보장을 달성할 수 있는가?
• RQ2 이러한 알고리즘이 충실성 가정보다 더 약한 조건 하에서도 일치성을 유지하는가?
• RQ3 이 알고리즘이 고차원 설정(p ≫ n)에서도 일치성과 성능을 유지하면서 확장 가능한가?
• RQ4 탐욕형 최소 밀도 순열 알고리즘의 성능은 PC-알고리즘과 GES와 같은 기존 기법과 비교해 어떻게 되는가?
• RQ5 제안된 알고리즘의 계산 효율성은 기존 탐욕형 및 비탐욕형 접근 방식과 비교해 어떻게 되는가?

주요 결과

• 제안된 탐욕형 최소 밀도 순열 알고리즘은 충실성 가정보다 더 약한 조건 하에서도 균일성과 고차원 일치성을 달성함으로써, 순열 기반 방법의 이론적 타당성을 확장한다.
• 고차원 점근적 조건 하에서 n → ∞ 이고 p가 n에 대해 다항적으로 증가할 때, 이 알고리즘은 확률 적어도 1 - O(exp(−cn^{1−2ℓ})) 이상으로 일치성을 보장한다. 여기서 c > 0이다.
• 시뮬레이션 및 실제 데이터 실험에서, 이 알고리즘은 PC-알고리즘과 GES보다 간선 예측의 AUC에서 뛰어난 성능을 보였다. PC-알고리즘과 GES는 랜덤 추측 수준과 유사한 성능을 보였다.
• 최악의 경우 O(p!) 시간에 실행되지만, 실질적으로 탐욕형 가지치기와 제한된 이동 집합 덕분에 효율적으로 확장 가능하다.
• 더 빠른 구현 버전이 이제 파이썬 패키지(causaldag)로 제공되어 개념 증명을 넘어 실용적 타당성을 입증했다.
• 이전 알고리즘에서 사용된 이동의 부분집합만을 사용하며, 점수를 향상시키지 못할 것으로 보장되는 이동은 제외함으로써 효율성을 향상시키고 유리한 런타임 성능를 지원한다.