[논문 리뷰] Interventional Experiment Design for Causal Structure Learning

AmirEmad Ghassami, Saber Salehkaleybar외 1명|arXiv (Cornell University)|2019. 10. 12.

Bayesian Modeling and Causal Inference참고 문헌 45인용 수 4

한 줄 요약

이 논문은 인과 구조 학습을 위한 비적응형 간섭 설계 프레임워크를 제안하며, 인과 DAG에서 식별된 방향성 간선 수를 최대화한다. 나무 구조 인과 그래프에 대해 정확한 알고리즘과 근사 알고리즘을 도입하고, 하위모듈러 최적화 및 효율적인 추정기들을 사용하여 일반 DAG로 확장함으로써, 예산 제약 조건 하에서 높은 확률로 (1−1/e)-근사 보장을 달성한다.

ABSTRACT

It is known that from purely observational data, a causal DAG is identifiable only up to its Markov equivalence class, and for many ground truth DAGs, the direction of a large portion of the edges will be remained unidentified. The golden standard for learning the causal DAG beyond Markov equivalence is to perform a sequence of interventions in the system and use the data gathered from the interventional distributions. We consider a setup in which given a budget $k$, we design $k$ interventions non-adaptively. We cast the problem of finding the best intervention target set as an optimization problem which aims to maximize the number of edges whose directions are identified due to the performed interventions. First, we consider the case that the underlying causal structure is a tree. For this case, we propose an efficient exact algorithm for the worst-case gain setup, as well as an approximate algorithm for the average gain setup. We then show that the proposed approach for the average gain setup can be extended to the case of general causal structures. In this case, besides the design of interventions, calculating the objective function is also challenging. We propose an efficient exact calculator as well as two estimators for this task. We evaluate the proposed methods using synthetic as well as real data.

연구 동기 및 목표

• 고정된 예산 k에 해당하는 비적응형 간섭을 사용하여 마르코프 동치성 이상의 인과 DAG를 학습하는 문제에 대응하기 위해.
• 간섭을 통해 식별된 방향성 간선 수를 최대화하기 위해 간섭 대상 집합에 대한 최적화 문제로 문제를 재정의하기 위해.
• 특히 나무 구조 및 일반 인과 그래프에 대해 최악의 경우와 평균 경우 수익을 고려한 효율적인 알고리즘 개발을 위해.
• 일반 DAG의 목적 함수를 정확한 계산기와 편향이 없고 효율적인 추정기들을 통해 확장 가능한 계산을 가능하게 하기 위해.
• 하위모듈러 목적 함수 조건 하에서 높은 확률로 (1−1/e)-근사 성능을 보장하는 이론적 보장을 수립하기 위해.

제안 방법

• 간섭 설계를 최대한 많은 간선 방향이 식별되는 것으로 최적화 문제로 정식화하고, 각 간섭에서 새로 식별된 간선 수를 수익으로 정의한다.
• 나무 구조 그래프의 경우, 최악의 경우 수익을 위한 정확한 알고리즘과 평균 경우 수익을 위한 근사 그레디언트 알고리즘을 제안하며, 목적 함수의 하위모듈러성에 기반한다.
• 평균 경우 수익 함수가 단조 증가하고 하위모듈러 임을 증명하여, 이론적 근사 경계를 가진 그레디언트 알고리즘의 적용을 가능하게 한다.
• 일반 DAG로의 프레임워크 확장을 위해 효율적인 정확한 계산기와 두 가지 추정기(편향이 없는 것과 빠른 히우리스틱)를 도입하여 목적 함수를 계산한다.
• 집중 불등식과 수렴 분석을 활용하여 추정 오차를 제한하고, 높은 확률로 (1−1/e−ε)-근사 성능을 달성하는 그레디언트 알고리즘의 성능을 보장한다.
• 샘플된 DAG가 진짜 그래프와 같은 마르코프 동치성 클래스에 있도록, v-구조 및 방향성 3-사이클을 확인하는 거부 샘플링 절차를 사용한다.

실험 결과

연구 질문

• RQ1 고정된 예산 k에 해당하는 비적응형 간섭의 최적 집합은 인과 DAG에서 식별된 간선 방향 수를 최대화하는가?
• RQ2 최악의 경우와 평균 경우 수익 기준 하에서 나무 구조 인과 그래프에 대해 간섭 설계 문제를 효율적으로 해결할 수 있는가?
• RQ3 평균 경우 수익 함수의 하위모듈러 구조를 활용하여 일반 DAG에 대해 확장 가능한 근사 알고리즘을 설계할 수 있는가?
• RQ4 정확한 계산의 계산 복잡도가 높기 때문에 일반 DAG의 경우 목적 함수를 효율적으로 계산하거나 추정할 수 있는가?
• RQ5 추정 오차와 유한 표본 조건 하에서 제안된 그레디언트 간섭 설계 알고리즘에 대해 이론적 근사 보장을 확보할 수 있는가?

주요 결과

• 제안된 그레디언트 알고리즘은 유한한 추정 오차 ε′ 조건 하에서 높은 확률 1−δ′로 최적의 간섭 집합에 대해 (1−1/e−ε′)-근사 성능을 달성한다.
• 나무 구조 인과 그래프의 경우, 최악의 경우 수익을 위한 정확한 알고리즘과 평균 경우 수익을 위한 그레디언트 근사 알고리즘을 제안하며, 둘 다 하위모듈러성에 기반한다.
• 평균 경우 수익 함수가 단조 증가하고 하위모듈러 임을 증명하여, 그레디언트 선택에 대한 이론적 성능 보장을 가능하게 한다.
• 일반 DAG의 목적 함수 계산을 위해 효율적인 정확한 계산기와 두 가지 추정기(편향이 없는 것과 빠른 히우리스틱)를 제안하였으며, 편향이 없는 추정기의 수렴 분석을 제공하였다.
• 합성 데이터 및 실세계 데이터에 대한 실험 평가를 통해 제안된 방법이 예산 제약 하에서 많은 간선 방향을 식별하는 데 효과적임을 확인하였다.
• 특히 관찰 데이터로부터 부분적으로 식별된 복잡한 그래프 구조에서 기준 전략에 비해 간선 방향 식별 성능에서 뛰어난 성능을 보였다.