[논문 리뷰] Learning and Testing Causal Models with Interventions

Jayadev Acharya, Arnab Bhattacharyya외 2명|arXiv (Cornell University)|2018. 05. 24.

Bayesian Modeling and Causal Inference참고 문헌 50인용 수 12

한 줄 요약

이 논문은 간섭을 사용하여 인과적 베이지안 네트워크(CBNs)를 테스트하고 학습하기 위한 효율적인 알고리즘을 제시한다. 이로써 알려진 모델과 다를 만큼의 총 변동 거리에서 알려지지 않은 CBN이 알려진 모델과 일치하는지 여부를 판단하는 데 O(log n)개의 간섭과 Õ(n/ε²)개의 표본(각 간섭당)으로 충분하다. 주요 기여는 유계 내차수와 유계 혼란 성분을 가진 CBN의 비적응형, 표본 및 간섭 효율적인 학습과 테스트를 가능하게 하는 제곱 헬링거 거리에 대한 새로운 부분가환 부등식이다.

ABSTRACT

We consider testing and learning problems on causal Bayesian networks as defined by Pearl (Pearl, 2009). Given a causal Bayesian network $\mathcal{M}$ on a graph with $n$ discrete variables and bounded in-degree and bounded `confounded components', we show that $O(\log n)$ interventions on an unknown causal Bayesian network $\mathcal{X}$ on the same graph, and $ ilde{O}(n/ε^2)$ samples per intervention, suffice to efficiently distinguish whether $\mathcal{X}=\mathcal{M}$ or whether there exists some intervention under which $\mathcal{X}$ and $\mathcal{M}$ are farther than $ε$ in total variation distance. We also obtain sample/time/intervention efficient algorithms for: (i) testing the identity of two unknown causal Bayesian networks on the same graph; and (ii) learning a causal Bayesian network on a given graph. Although our algorithms are non-adaptive, we show that adaptivity does not help in general: $Ω(\log n)$ interventions are necessary for testing the identity of two unknown causal Bayesian networks on the same graph, even adaptively. Our algorithms are enabled by a new subadditivity inequality for the squared Hellinger distance between two causal Bayesian networks.

연구 동기 및 목표

• 관측 및 간섭 데이터가 모두 이용 가능한 경우 인과적 베이지안 네트워크(CBNs)를 테스트하고 학습하기 위한 효율적인 알고리즘을 개발하는 것.
• 관측되지 않은 변수가 여러 관측 변수에 영향을 주는 은폐된 혼란 요인 문제를 다루며, 이로 인해 임의의 연관성이 발생할 수 있음을 고려하는 것.
• 유계 내차수와 혼란 성분이 존재하는 경우에도, CBN의 신뢰도 테스트 및 학습에 필요한 간섭 수에 대한 날카로운 하한을 설정하는 것.
• 적응 전략이 간섭 복잡도를 향상시키지 않음을 증명하며, 일반 조건 하에서 신뢰도 테스트에 대해 Ω(log n)의 하한을 확립하는 것.

제안 방법

• 두 CBN 간의 제곱 헬링거 거리에 대한 새로운 부분가환 부등식을 제안하여 효율적인 통계적 테스트 및 학습을 가능하게 하는 것.
• O(log n)개의 간섭과 Õ(n/ε²)개의 표본(각 간섭당)을 사용하는 비적응형 알고리즘을 설계하여, 알려진 모델에서 ε-떨어져 있는지 여부를 테스트하는 것.
• 프로그램 표현을 단순화하기 위해 재귀적 감소 프레임워크를 사용하며, 종속 집합 감소, Y-R 감소, R-제거를 적용하여 최적화 값의 상한을 도출하는 것.
• 재귀적 최적화 추론을 적용하여 프로그램의 최적 값에 대한 하한을 도출하며, 핵심 부등식 Opt(P_{r,p}) ≥ (1 - |Σ|^L γ)^p를 유도하는 것.
• 유계 내차수와 유계 혼란 성분을 가진 CBN의 구조적 특성을 활용하여 확장성과 효율성을 보장하는 것.
• 적응 전략이 간섭 복잡도를 향상시키지 않음을 증명하기 위해, 일반 조건 하에서 신뢰도 테스트에 대해 Ω(log n)의 하한을 확립하는 것.

실험 결과

연구 질문

• RQ1 소수의 간섭과 표본을 사용하여 알려지지 않은 인과적 베이지안 네트워크가 알려진 모델에 ε-근접한지 테스트할 수 있는가?
• RQ2 특히 혼란 성분이 존재할 경우, CBN을 학습하거나 테스트하기 위해 필요한 최소 간섭 수는 얼마인가?
• RQ3 적응 전략이 인과 모델 테스트에 필요한 간섭 수를 줄이는 데 있어 증명 가능한 이점을 제공하는가?
• RQ4 CBNs에서 헬링거 거리에 대한 일반적인 부분가환 성질을 확립할 수 있는가, 이를 통해 효율적인 통계적 추론이 가능하게 하는가?
• RQ5 동일한 그래프 위에서 두 알려지지 않은 CBN을 구분하기 위해 필요한 간섭 수의 기본 한계는 무엇인가?

주요 결과

• O(log n)개의 간섭과 Õ(n/ε²)개의 표본(각 간섭당)으로 충분하여, 알려지지 않은 CBN이 알려진 모델에서 총 변동 거리 기준으로 ε-떨어져 있는지 여부를 테스트할 수 있다.
• 제안된 알고리즘은 비적응형이며, 적응 전략이 간섭 복잡도를 향상시키지 않음을 증명한다. 신뢰도 테스트에 대해 조건부로 Ω(log n)개의 간섭이 필요하다.
• CBNs 간의 제곱 헬링거 거리에 대한 새로운 부분가환 부등식이 확립되었으며, 이는 알고리즘의 효율성과 이론적 분석의 핵심이다.
• 유사한 간섭 및 표본 복잡도를 사용하여, 유계 내차수와 유계 혼란 성분을 가진 그래프 위에서 CBN의 효율적 학습이 가능하다.
• 동일한 그래프 위에서 두 알려지지 않은 CBN의 신뢰도 테스트에 대해서도 동일한 O(log n)개의 간섭과 Õ(n/ε²)개의 표본 복잡도가 적용되며, 간섭 수에 대해 일치하는 Ω(log n)의 하한이 존재한다.
• 분석은 최적 값의 상한을 도출하는 데 기초한 재귀적 프로그램 감소 프레임워크에 의존하며, 핵심 부등식 Opt(P_{r,p}) ≥ (1 - |Σ|^L γ)^p를 이끌어낸다.