[논문 리뷰] Active Invariant Causal Prediction: Experiment Selection through Stability

Juan L. Gamella, Christina Heinze‐Deml|arXiv (Cornell University)|2020. 06. 10.

Machine Learning and Algorithms참고 문헌 39인용 수 5

한 줄 요약

이 논문은 구조적 인과 모델에서 반응 변수의 직접 원인을 효율적으로 규명하기 위해 간섭 안정성(interference stability)을 활용하는 새로운 실험 선택 프레임워크인 활성 불변 인과 예측(A-ICP)을 제안한다. 간섭이 안정적인 집합—환경 간 조건부 분포가 유지되는 변수의 부분집합—이 어떻게 영향을 받는지 분석함으로써, 진정한 인과 부모를 신속하게 드러내면서도 ICP(Invariant Causal Prediction)의 오차 통제를 유지하는 정보성 높은 간섭을 선택한다.

ABSTRACT

A fundamental difficulty of causal learning is that causal models can generally not be fully identified based on observational data only. Interventional data, that is, data originating from different experimental environments, improves identifiability. However, the improvement depends critically on the target and nature of the interventions carried out in each experiment. Since in real applications experiments tend to be costly, there is a need to perform the right interventions such that as few as possible are required. In this work we propose a new active learning (i.e. experiment selection) framework (A-ICP) based on Invariant Causal Prediction (ICP) (Peters et al., 2016). For general structural causal models, we characterize the effect of interventions on so-called stable sets, a notion introduced by (Pfister et al., 2019). We leverage these results to propose several intervention selection policies for A-ICP which quickly reveal the direct causes of a response variable in the causal graph while maintaining the error control inherent in ICP. Empirically, we analyze the performance of the proposed policies in both population and finite-regime experiments.

연구 동기 및 목표

• 관찰 데이터만으로는 부족한 상황에서 인과 모델 내 반응 변수의 직접 원인을 규명하는 데 도전하는 것.
• 비용이 많이 드는 간섭의 수를 줄이기 위해 가장 정보성 높은 실험을 전략적으로 선택함으로써 인과 발견 과정을 최적화하는 것.
• 진정한 인과 구조에 빠르게 수렴시키면서도 Invariant Causal Prediction (ICP)의 통계적 오차 통제를 유지하는 것.
• 간섭이 간섭 안정 집합에 미치는 영향을 정식화하고, 안정성 특성에 기반한 선택 정책을 도출하는 것.

제안 방법

• 간섭 안정 집합—환경 간 반응 분포의 불변성을 유지하는 변수의 부분집합—에 대한 간섭의 영향을 기반으로 간섭을 선택하는 A-ICP 프레임워크를 제안한다.
• d-분리와 그래프 이론적 추론을 사용하여 부모, 자식, 후손에 대한 간섭이 집합 안정성에 미치는 영향을 이론적으로 분석한다.
• 진정한 직접 원인을 드러내기 위해 불안정한 집합을 제거하는 데 기여하는 변수를 우선순위로 정하는 간섭 선택 정책을 유도한다.
• 변수 j가 안정 집합에 포함되는 빈도 rE(j)를 사용하여 j가 반응 변수의 조상일 가능성의 지표로 활용하며, rE(j) ≥ 1/2일 경우 조상일 가능성이 있음을 의미한다.
• 불변 인과 예측(ICP) 원리를 적용한다: 환경 간 Y|XS의 불변성을 유지하는 집합 S는 타당한 인과 예측자로 간주된다.
• 모수적 및 유한 표본 환경에서 정책의 성능을 실증적으로 평가하여, 최소한의 간섭으로 진정한 직접 원인을 규명하는 데의 성능을 기준 전략과 비교한다.

실험 결과

연구 질문

• RQ1 부모, 자식, 후손과 같은 다양한 유형의 변수에 대한 간섭이 ICP 맥락에서 집합의 안정성에 어떻게 영향을 미치는가?
• RQ2 안정성 특성에서 유도할 수 있는 간섭 수를 최소화하는 선택 정책은 무엇인가?
• RQ3 간섭 안정 집합을 사용하여 통계적 오차 통제를 유지하면서 반응 변수의 직접 원인을 신뢰성 있게 추론할 수 있는가?
• RQ4 변수 j가 안정 집합에 포함되는 빈도 rE(j)는 그 변수가 인과 그래프에서 Y의 조상인가에 대한 위치와 어떻게 관련이 있는가?
• RQ5 기본 전략 대비 A-ICP 정책의 실증적 성능은 유한 표본 환경에서 어떻게 나타나는가?

주요 결과

• Lemma 1에 따르면, 집합이 간섭 안정일 수 있으려면 Y의 직접 부모에 대한 간섭이 반드시 필요하다.
• Lemma 2에 따르면, Y의 직접 간섭을 받은 자식의 후손을 포함하는 집합은 불안정하다.
• Lemma 3에 따르면, 공백 집합은 오직 Y의 조상가 간섭을 받지 않을 경우에만 간섭 안정이다.
• Proposition 1에 따르면, 임의의 변수 j에 대해 rE(j) < 1/2이면 j는 Y의 조상일 수 없다.
• Proposition 2에 따르면, 모든 간섭 안정 집합은 ICP 기준에서 타당한 인과 예측자이며, 이는 방법론적 타당성을 보장한다.
• 실증 결과에 따르면, A-ICP 정책는 기준 전략보다 더 적은 간섭으로 진정한 직접 원인에 신속히 수렴하며, 인과 모델의 모수적 및 유한 표본 환경 모두에서 ICP의 오차 통제를 유지한다.