[논문 리뷰] LazyIter: A Fast Algorithm for Counting Markov Equivalent DAGs and Designing Experiments

Ali AhmadiTeshnizi, Saber Salehkaleybar외 1명|arXiv (Cornell University)|2020. 06. 17.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 단일 노드 간섭 이후 DAG의 마르코프 등가 클래스(MECs)를 반복 처리하기 위한 빠른 알고리즘인 LazyIter를 소개한다. 이 알고리즘을 통해 MEC 크기 계산과 최적의 실험 설계를 효율적으로 수행할 수 있다. 서로 유사한 MEC 간의 구조적 유사성을 활용하여 중복된 간선 방향 전환 계산을 방지함으로써, 희박한 그래프의 경우 시간 복잡도를 O(n)만큼 감소시키며, 주로 활성 학습 및 수동 학습 환경에서 이전 방법들을 능가한다.

ABSTRACT

The causal relationships among a set of random variables are commonly represented by a Directed Acyclic Graph (DAG), where there is a directed edge from variable $X$ to variable $Y$ if $X$ is a direct cause of $Y$. From the purely observational data, the true causal graph can be identified up to a Markov Equivalence Class (MEC), which is a set of DAGs with the same conditional independencies between the variables. The size of an MEC is a measure of complexity for recovering the true causal graph by performing interventions. We propose a method for efficient iteration over possible MECs given intervention results. We utilize the proposed method for computing MEC sizes and experiment design in active and passive learning settings. Compared to previous work for computing the size of MEC, our proposed algorithm reduces the time complexity by a factor of $O(n)$ for sparse graphs where $n$ is the number of variables in the system. Additionally, integrating our approach with dynamic programming, we design an optimal algorithm for passive experiment design. Experimental results show that our proposed algorithms for both computing the size of MEC and experiment design outperform the state of the art.

연구 동기 및 목표

• 단일 노드 간섭 이후 가능한 MEC를 반복 처리하기 위한 효율적인 방법을 개발하여 중복 계산을 줄이기.
• 기존의 동적 프로그래밍 접근 방식보다 MEC 크기를 더 효율적으로 계산하기.
• 인과 구조 탐색을 위한 활성 학습 및 수동 학습 환경에서 최적의 실험 선택 전략을 설계하기.
• 최악의 경우 수동 실험 설계를 위한 첫 번째 정확하고 효율적인 동적 프로그래밍 알고리즘을 제공하기.
• 기존 연구 대비 희박한 그래프와 조밀한 그래프 모두에서 확장성과 성능을 향상시키기.

제안 방법

• LazyIter는 노드를 루트로 고정하고, 유사한 MEC 간에 간선 방향 패턴을 재사용하여 재계산을 방지함으로써 가능한 간섭 결과를 반복 처리한다.
• 알고리즘은 필수 그래프의 구조를 활용하여 새로운 후보 DAG를 생성하기 위해 최소한의 간선 방향 전환만 수행한다.
• MEC 크기 계산은 LazyIter를 동적 프로그래밍과 결합하여 MEC 내 DAG 수를 효율적으로 계산한다.
• 수동 학습에서는 새로운 DP 공식을 도입하여 DP[S][T]가 부분 그래프 S 내에서 T에 속한 노드에 간섭한 후 최소한의 유도 간선 수를 나타내도록 정의한다.
• DP 점화식은 루트 노드에 대한 가능한 모든 간섭 결과를 LazyIter를 통해 탐색하고, 연결된 성분에서의 결과를 통합한다.
• 이 방법은 두 가지 목적 함수를 모두 지원한다: 남은 무방향 간선 수를 최소화하고, MEC 크기 감소를 최대화한다.

실험 결과

연구 질문

• RQ1 중복된 간선 방향 전환 없이 단일 노드 간섭 결과로 발생하는 모든 가능한 MEC를 효율적으로 반복 처리할 수 있는가?
• RQ2 MEC 간의 구조적 유사성을 활용하여 MEC 크기 계산의 시간 복잡도를 낮출 수 있는가?
• RQ3 인과 탐색에서 최악의 경우 수동 실험 설계를 위한 정확하고 효율적인 알고리즘을 설계할 수 있는가?
• RQ4 LazyIter의 성능은 희박한 그래프와 조밀한 그래프에서 이전 방법들과 비교해 확장성 측면에서 어떻게 나타나는가?
• RQ5 제안된 방법은 활성 학습 및 수동 학습 환경에서 히وري스틱 및 근사 기반 접근 방식을 능가할 수 있는가?

주요 결과

• 희박한 그래프에서 LazyIter는 기존의 동적 프로그래밍 방법 대비 MEC 크기 계산의 시간 복잡도를 O(n)만큼 감소시킨다.
• MEC 크기 계산을 위한 LazyCount는 밀도가 높은 그래프에서 MemoMAO(최신 기술)를 능가하며, 희박한 그래프에서는 유사한 성능을 보이지만 상당한 성능 격차를 보인다.
• LazyIter 기반의 활성 학습 알고리즘은 이전 방법들(예: Hauser & Bühlmann, 2014)보다 간섭 대상 선택에 있어 최대 O(n)배 빠르다.
• 제안된 DP 기반 수동 학습 알고리즘은 최악의 경우 실험 설계를 위한 첫 번째 정확한 방법으로, Random 및 MaxDegree 히وري스틱보다 뛰어나며 그래프 순서가 증가할수록 그 성능 격차가 커진다.
• 수동 학습에서 예산과 그래프 순서가 증가할수록 간선 추론 비율이 크게 향상되어 알고리즘의 확장성과 효과성을 입증한다.
• 다양한 그래프 순서와 간선 밀도에서 알고리즘이 잘 확장되며, 모든 테스트 구성에서 기준선 대비 일관된 성능 향상을 보인다.