[논문 리뷰] Estimating the probabilities of causation via deep monotonic twin networks.

Athanasios Vlontzos, Bernhard Kainz외 1명|arXiv (Cornell University)|2021. 09. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 34인용 수 5

한 줄 요약

이 논문은 깊이 있는 신경망을 사용하여 인과적 원인의 반사적 확률을 추정하기 위해 단조성 twin 네트워크를 제안한다. 이는 twin 네트워크의 그래픽 구조를 활용하여 확장 가능하고 식별 가능한 추론을 가능하게 한다. 학습 중에 식별 가능성 제약 조건을 강제 적용함으로써, 합성 데이터 및 실제 세계 데이터에서 필수적이고 충분한 인과관계의 정확한 추정이 가능해진다.

ABSTRACT

There has been much recent work using machine learning to answer causal queries. Most focus on interventional queries, such as the conditional average treatment effect. However, as noted by Pearl, interventional queries only form part of a larger hierarchy of causal queries, with counterfactuals sitting at the top. Despite this, our community has not fully succeeded in adapting machine learning tools to answer counterfactual queries. This work addresses this challenge by showing how to implement twin network counterfactual inference -- an alternative to abduction, action, & prediction counterfactual inference -- with deep learning to estimate counterfactual queries. We show how the graphical nature of twin networks makes them particularly amenable to deep learning, yielding simple neural network architectures that, when trained, are capable of counterfactual inference. Importantly, we show how to enforce known identifiability constraints during training, ensuring the answer to each counterfactual query is uniquely determined. We demonstrate our approach by using it to accurately estimate the probabilities of causation -- important counterfactual queries that quantify the degree to which one event was a necessary or sufficient cause of another -- on both synthetic and real data.

연구 동기 및 목표

• 머신러닝을 반사적 질문에 적용하는 데 있어 여전히 미비한 점을 메우기 위해, 펄의 인과계층의 정점에 위치한 반사적 질문을 다루기 위해.
• 필수적이고 충분한 인과관계를 정량화하는 핵심 반사적 질문인 인과관계의 확률을 정확하게 추정하기 위해.
• 기존의 식별 가능성 제약 조건을 강제 적용하면서 twin 네트워크 기반의 반사적 추론에 깊이 있는 신경망을 적응시키기 위해.
• 유일하게 결정된 반사적 답변을 생성할 수 있는 간단하면서도 기능적인 신경망 아키텍처를 개발하기 위해.

제안 방법

• 관측된 세계를 나타내는 네트워크와 반사적 세계를 나타내는 네트워크로 구성된 twin 네트워크 아키텍처를 사용하며, 구조적 일致성을 확보하기 위해 파라미터를 공유한다.
• 깊이 있는 신경망을 사용하여 twin 시스템의 구조 방정식을 모델링함으로써 관측 데이터에서 엔드 투 엔드 학습이 가능하도록 한다.
• 논리적 일致성과 일반화 성능 향상을 위해 네트워크 출력에 단조성 제약 조건을 적용한다.
• 학습 중에 식별 가능성 제약 조건을 명시적으로 강제 적용하여 각 반사적 질문에 대해 유일한 해를 보장한다.
• 관측 데이터에서의 예측 오차를 최소화하면서도 twin 시스템 간의 구조적 제약 조건을 유지하는 학습 목표를 설계한다.

실험 결과

연구 질문

• RQ1 식별 가능성을 보장하는 방식으로 깊이 있는 신경망을 효과적으로 사용하여 반사적 인과관계의 확률을 추정할 수 있는가?
• RQ2 twin 네트워크의 그래픽 구조를 어떻게 활용하여 반사적 추론을 위한 단순하고 확장 가능한 신경망 아키텍처를 설계할 수 있는가?
• RQ3 단조성과 식별 가능성 제약 조건을 얼마나 잘 적용하면 반사적 추정의 신뢰성과 유일성이 향상되는가?
• RQ4 제안된 방법은 합성 데이터와 실제 세계 데이터에서 필수적이고 충분한 인과관계를 추정하는 데 얼마나 잘 성능을 발휘하는가?

주요 결과

• 제안된 방법은 높은 정확도로 합성 데이터에서 인과관계의 확률을 성공적으로 추정하였으며, 필수적이고 충분한 원인의 정확한 식별을 보여주었다.
• 학습 중에 강제된 식별 가능성 제약 조건 덕분에 반사적 질문에 대해 항상 유일한 해를 유지하였다.
• twin 네트워크 아키텍처는 명시적 추론, 조작, 예측 단계 없이도 효율적이고 확장 가능한 반사적 추론을 가능하게 하였다.
• 실제 세계 데이터로의 일반화 성능이 뛰어나며, 현실적인 관측 조건 하에서 인과관계 확률을 추정하는 데 있어 강인한 성능을 보였다.