[논문 리뷰] Towards Scalable Bayesian Learning of Causal DAGs

Jussi Viinikka, Antti Hyttinen외 2명|arXiv (Cornell University)|2020. 09. 30.

Bayesian Modeling and Causal Inference참고 문헌 22인용 수 4

한 줄 요약

이 논문은 인과 DAG의 베이지안 구조 학습을 위한 확장 가능한 MCMC 방법인 Gadget과 선형 가우시안 모델에서 인과 효과 추정을 위한 새로운 베이지안 접근법인 Beeps를 제안한다. 후보 부모 선택 최적화 및 알고리즘 개선을 통한 메모리/시간 비용 감소로, 최대 100개 이상의 변수를 가진 DAG에 대한 효율적인 사후 샘플링을 가능하게 하며, 특히 데이터가 제한적인 경우 기존 방법들보다 우수한 인과 효과 추정 성능을 보인다.

ABSTRACT

We give methods for Bayesian inference of directed acyclic graphs, DAGs, and the induced causal effects from passively observed complete data. Our methods build on a recent Markov chain Monte Carlo scheme for learning Bayesian networks, which enables efficient approximate sampling from the graph posterior, provided that each node is assigned a small number $K$ of candidate parents. We present algorithmic techniques to significantly reduce the space and time requirements, which make the use of substantially larger values of $K$ feasible. Furthermore, we investigate the problem of selecting the candidate parents per node so as to maximize the covered posterior mass. Finally, we combine our sampling method with a novel Bayesian approach for estimating causal effects in linear Gaussian DAG models. Numerical experiments demonstrate the performance of our methods in detecting ancestor-descendant relations, and in causal effect estimation our Bayesian method is shown to outperform previous approaches.

연구 동기 및 목표

• 대규모 인과 추론에서 DAG의 조합적 공간에 대한 베이지안 모델 평균화의 계산 불가능성 문제를 해결한다.
• 기존 DAG용 MCMC 샘플러의 한계—높은 메모리 사용과 특정 순서의 과도한 표현으로 인한 편향된 샘플링—을 극복한다.
• 시간 및 공간 복잡도를 감소시켜 수백 개의 변수를 가진 DAG의 구조에 대한 효율적이고 정확한 사후 샘플링을 가능하게 한다.
• 전체 DAG의 구조와 불확실성을 활용하는 베이지안 프레임워크를 개발하여 비베이지안 IDA 방식의 방법보다 향상된 인과 효과 추정을 실현한다.
• 사후 분포 커버리지의 최적화를 위해 후보 부모 선택 전략을 탐색한다.

제안 방법

• 완전한 DAG나 노드 순서를 직접 샘플링하는 대신, 순서가 부여된 노드 파artition에 대해 샘플링하는 파artition 기반 MCMC 기법을 사용하여 샘플링 편향을 줄인다.
• 각 노드의 부모 집합을 크기 $ K $의 작은 후보 집합으로 제한하고, 사전에 점수 합을 룩업 테이블에 저장하여 단계별 계산 비용을 크게 감소시킨다.
• 효율적인 데이터 구조 및 가지치기 전략 등의 알고리즘 최적화를 도입하여 메모리 및 시간 복잡도를 감소시켜, $ K=15 $와 같은 더 큰 값에서도 2–3개의 주요 차수 감소를 달성한다.
• 세 단계의 샘플링 기반 방법(Beeps)을 제안하여 인과 효과의 사후분포를 근사한다: (1) Gadget을 통해 DAG 샘플링, (2) 각 DAG 조건 하에서 모델 파라미터 조건부 샘플링, (3) 선형 가우시안 모델에서 행렬 역행렬을 통한 인과 효과 계산.
• 행렬 역행렬을 사용해 구조적 파라미터를 간섭 분포로 매핑하여 선형 가우시안 가정 하에서 정확한 인과 효과 계산을 가능하게 한다.
• 작은 그래프에서는 정확한 최적화를, 더 큰 그래프에서는 확장 가능한 휴리스틱을 사용해 후보 부모 선택을 평가하여 사후 커버리지 최대화를 목표로 한다.

실험 결과

연구 질문

• RQ1 계산 가능성이 유지되고 샘플링 정확도가 확보되는 조건에서, 대규모 네트워크(예: 100개 이상의 변수)에 대한 베이지안 DAG 학습을 어떻게 확장할 수 있는가?
• RQ2 각 노드의 후보 부모 선택 전략 중에서 진짜 DAG의 구조에 대한 사후 커버리지를 최대화하는 최적의 전략은 무엇인가?
• RQ3 전체적인 구조적 불확실성을 활용하여 비베이지안 방법(예: IDA)을 능가하는 베이지안 인과 효과 추정 방법을 설계할 수 있는가?
• RQ4 메모리 및 시간 요구량은 $ K $ 증가에 따라 어떻게 변화하며, 이러한 비용을 수십 배에서 수백 배 감소시킬 수 있는 알고리즘 최적화는 무엇인가?
• RQ5 휴리스틱 부모 선택 방법은 최적 선택의 성능을 어느 정도 근접하는가? 어떤 경우에 실패할 수 있는가?

주요 결과

• 제안된 알고리즘 최적화로 인해 메모리 및 시간 요구량이 2–3개의 주요 차수 감소하여 $ K=15 $의 사용이 가능해졌으며, 이는 사후 DAG 공간의 훨씬 더 큰 부분을 커버하게 되었다.
• Beeps는 이전의 IDA 기반 방법보다 인과 효과 추정에서 더 뛰어난 성능을 보였으며, 특히 표본 수가 적거나 중간 수준일 경우 정확도 향상과 불확실성 정량화가 뛰어났다.
• 실제 유전자 발현 데이터셋($ n=107 $)에서 Beeps는 BiDAG 및 Gadget보다 더 높은 정확도를 달성했으며, 특히 데이터 포인트 수가 적은 경우(예: 200–400)에서 BiDAG는 자주 수렴하지 못하는 경향을 보였다.
• 800개 및 1600개의 데이터 포인트를 가진 데이터셋에서 BiDAG는 각각 10번의 실험 중 4번, 8번에서 100회의 반복을 완료하지 못했지만, $ K=15 $를 사용한 Gadget은 안정적이고 확장 가능한 성능을 유지했다.
• 최적의 후보 부모 집합은 중간 크기의 $ K $에서도 강력한 사후 커버리지를 제공하며, 단순한 휴리스틱은 종종 최적에 가까운 성능을 달성하지만 항상 그렇지는 않다. 이는 효율적인 고점수 부모 집합 탐색을 위한 향후 연구의 필요성을 시사한다.
• 베이지안 인과 효과 추정기(Beeps)는 인과 효과의 전체 사후분포를 제공하여 원칙적인 불확실성 인식 의사결정을 가능하게 하며, 추정 정확도 측면에서 비베이지안 대안보다 뛰어난 성능을 보였다.