[논문 리뷰] Learning Neural Causal Models with Active Interventions

Nino Scherrer, Olexa Bilaniuk외 8명|arXiv (Cornell University)|2021. 09. 06.

Bayesian Modeling and Causal Inference참고 문헌 55인용 수 16

한 줄 요약

이 논문은 신경 인과적 발견 모델이 가장 정보적인 변수를 적응적으로 선택할 수 있도록 해주는 Active Intervention Targeting (AIT)을 소개한다. 이는 필요한 간섭 수를 크게 줄이는 데 기여한다. AIT는 샘플된 DAG들 간의 간섭 후 분포의 이질성에 기반해 잠재적 간섭 대상에 점수를 매겨, 다양한 벤치마크에서 이산적이고 연속적인 설정 모두에서 수렴 속도를 가속화하고 구조 식별 성능을 향상시킨다.

ABSTRACT

Discovering causal structures from data is a challenging inference problem of fundamental importance in all areas of science. The appealing properties of neural networks have recently led to a surge of interest in differentiable neural network-based methods for learning causal structures from data. So far, differentiable causal discovery has focused on static datasets of observational or fixed interventional origin. In this work, we introduce an active intervention targeting (AIT) method which enables a quick identification of the underlying causal structure of the data-generating process. Our method significantly reduces the required number of interactions compared with random intervention targeting and is applicable for both discrete and continuous optimization formulations of learning the underlying directed acyclic graph (DAG) from data. We examine the proposed method across multiple frameworks in a wide range of settings and demonstrate superior performance on multiple benchmarks from simulated to real-world data.

연구 동기 및 목표

• 비용이 많이 들거나 제한된 간섭 조건에서 데이터로부터 인과적 구조를 효율적으로 식별하는 데 도전하는 데 목적을 두며.
• 이전에 관찰 데이터 또는 고정된 간섭 데이터에만 국한되었던 미분 가능 신경 인과적 발견 방법을 확장하기 위해 적응형 간섭 대상 타겟팅을 통합하는 데 목적을 두며.
• 구조 식별 정확도를 유지하거나 향상시키면서도 필요한 간섭 수를 줄이는 데 목적을 두며.
• 다양한 신경 인과적 발견 프레임워크, 특히 이산적이고 연속적인 최적화 설정 모두에 걸쳐 AIT의 효과성을 입증하는 데 목적을 두며.

제안 방법

• AIT는 샘플된 DAG들로부터 유도된 간섭 후 표본 분포를 기반으로 모든 가능한 노드에 대해 이질성 점수를 추정함으로써 간섭 대상을 선택한다.
• 신경 인과 모델의 구조적 파라미터에서 다수의 가설 DAG를 샘플링한 후, 각 노드에 간섭을 적용하여 간섭 후 분포를 계산한다.
• 이질성 점수는 서로 다른 DAG 가설 간의 간섭 후 표본 통계치를 비교하여 계산되며, 가장 정보적인 차이를 만들어내는 대상을 선호한다.
• AIT는 DCDI 및 DSDI와 같은 기존의 신경 인과적 발견 프레임워크에 통합되며, 각 몇 개의 경사 하강 단계마다 간섭 대상 공간을 재최적화한다.
• 이 방법은 방향성 없는 사이클 그래프(DAG) 학습의 이산적이고 연속적인 최적화 형태를 모두 지원하여 광범위한 적용 가능성을 제공한다.
• 두 단계 과정을 사용한다: (1) 모델의 구조적 파라미터에서 DAG를 샘플링하고, (2) 위상순서 및 기능적 파라미터 추정을 통해 간섭 대상을 평가한다.

실험 결과

연구 질문

• RQ1 적응형 간섭 대상 타겟팅은 신경 인과적 발견에서 진정한 인과적 구조를 식별하기 위해 필요한 간섭 수를 줄일 수 있는가?
• RQ2 AIT는 랜덤 간섭 타겟팅 대비 수렴 속도와 구조 식별 정확도 측면에서 어떻게 비교되는가?
• RQ3 AIT의 간섭 대상 선택은 노드의 影향력 또는 후속 영향과 같은 위상적 성질과 어느 정도 상관이 있는가?
• RQ4 DCDI와 같은 프레임워크에 통합되었을 때, AIT는 연속적이고 비선형적인 데이터 환경에서 표본 효율성을 향상시키는가?
• RQ5 간섭 대상 공간의 크기(K)가 AIT 가이드된 인과적 발견의 성능과 수렴에 미치는 영향은 어떠한가?

주요 결과

• 모든 테스트된 타겟 공간 크기(K ∈ {2, 4, 6, 8})에서 AIT 가이드 DCDI는 원래 DCDI보다 표본 복잡도 측면에서 뛰어나며, 구조 해밍 거리(SHD)를 유지하거나 향상시키면서 더 빠른 수렴을 달성한다.
• 선택된 간섭 대상의 분포는 위상적 성질과 강하게 상관된다: 더 많은 후속 영향을 미치는 노드일수록 더 자주 간섭을 받으며, 자식 노드가 없는 리프 노드는 현저히 덜 간섭을 받는다.
• 모든 K 값에서 AIT 가이드 DCDI는 원래 DCDI의 구조 식별 성능과 비교해 유사하거나 더 우수한 SHD를 달성하여 일관된 성능 향상을 입증한다.
• 이 방법은 랜덤 또는 고정된 타겟팅이 아닌 적응적이고 정보 기반의 선택을 통해 필요한 간섭 수를 줄인다.
• 모의 및 실세계 환경 모두에서 AIT는 비선형적이고 연속적인 데이터 환경에서 특히 빠르게 기저 인과적 구조를 발견하는 데 기여한다.
• 제거 실험 결과 AIT의 성능는 다양한 K 값에서 뛰어난 안정성을 보이며, 작은 타겟 공간 크기에서도 정확도 저하 없이 유지된다.