[논문 리뷰] A Survey of Methods, Challenges and Perspectives in Causality

G. Gendron, Michael Witbrock외 1명|arXiv (Cornell University)|2023. 02. 01.

Bayesian Modeling and Causal Inference인용 수 7

한 줄 요약

이 종합 검토는 인과성 방법, 도전 과제, 향후 방향성을 종합적으로 개괄하며, 모델의 일반화 능력과 내성 강도를 향상시키기 위해 딥 러닝과의 통합을 강조한다. 구조적 인과 모델, 잠재 결과, 그랑저 인과성은 현대 딥 러닝 기법들인 그래프 신경망과 표현 학습과 함께 통합되어 인과 AI를 위한 통합 프레임워크를 제공하며, 과학 및 산업 전반에 걸쳐 광범위한 응용 가능성을 지닌다.

ABSTRACT

Deep Learning models have shown success in a large variety of tasks by extracting correlation patterns from high-dimensional data but still struggle when generalizing out of their initial distribution. As causal engines aim to learn mechanisms independent from a data distribution, combining Deep Learning with Causality can have a great impact on the two fields. In this paper, we further motivate this assumption. We perform an extensive overview of the theories and methods for Causality from different perspectives, with an emphasis on Deep Learning and the challenges met by the two domains. We show early attempts to bring the fields together and the possible perspectives for the future. We finish by providing a large variety of applications for techniques from Causality.

연구 동기 및 목표

• 학습 데이터 분포를 초월해 일반화 능력이 떨어지는 딥 러닝 모델의 한계를 인과 추론 원리를 통합하여 해결하고자 한다.
• 구조적 인과 모델, 잠재 결과, 그랑저 인과성 등 서로 다른 인과 프레임워크를 기계 학습 연구자들을 위한 통합된 개괄도로 통합하고자 한다.
• 혼동 변수, 분포 이동, 간섭 모델링 등 딥 러닝과 인과성을 결합할 때 발생하는 주요 과제를 특정하고 분석하고자 한다.
• 신뢰할 수 있는 내성 강도 향상을 위해 신경 인과 모델, 인과 표현 학습, 믹업을 통한 데이터 증강과 같은 새로운 기법을 탐색하고자 한다.
• 의료, 금융, 신경과학, 기후 과학 등 다양한 분야에서 인과 기반 기법의 실제 응용 사례를 종합적으로 조사하고자 한다.

제안 방법

• 구조적 인과 모델(Structural Causal Models, SCMs), 잠재 결과 프레임워크, 시간적 시리즈를 위한 그랑저 인과성의 세 가지 핵심 인과 프레임워크를 체계적으로 조사한다.
• 딥 러닝 아키텍처와 결합된 SCMs를 활용해 종단 간 인과 추론을 가능하게 하는 새로운 프레임워크인 신경 인과 모델(Neural Causal Models)을 도입한다.
• 제약 기반, 점수 기반, 비정규 분포, 변분, LLM 강화 기반 접근법을 포함한 인과 구조 탐색 방법을 검토한다.
• 도계산법, 재가중법, 매칭, 의사결정 트리와 같은 인과 추론 기법을 분석하여 반사적 효과와 간섭 효과를 추정한다.
• 딥 러닝과 인과성 간의 다리 역할을 하는 인과 표현 학습을 분석하며, 분리 가능성과 불변 표현에 초점을 맞춘다.
• 일반화 능력과 내성 강도 향상을 위해 신경망 표현에서의 간섭으로 작용하는 맨포이드 믹업(ManifoldMixup)과 같은 데이터 증강 기법을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 인과성을 체계적으로 딥 러닝과 통합하여 모델의 일반화 능력과 내성 강도를 향상시킬 수 있는가?
• RQ2 혼동 변수, 분포 이동, 간섭 모델링 측면에서 인과 추론과 딥 러닝을 통합할 때 발생하는 주요 과제는 무엇인가?
• RQ3 그래프 신경망과 표현 학습과 같은 현대 딥 러닝 기법들이 인과 추론에 어떻게 기여하는가?
• RQ4 정적 및 시간적 시리즈 데이터에서 인과 구조 탐색과 인과 추론을 위한 가장 효과적인 방법은 무엇인가?
• RQ5 어떤 과학 분야에서 인과 기반 기법이 모델의 해석 가능성과 성능 향상에 크게 기여할 수 있는가?

주요 결과

• 인과성과 딥 러닝의 통합은 데이터 분포 간 불변인 메커니즘을 학습함으로써 일반화 능력을 향상시키며, 부적절한 상관관계에 대한 의존도를 감소시킨다.
• 신경 인과 모델은 구조적 인과 모델과 딥 러닝을 효과적으로 융합하여 종단 간 인과 효과와 간섭을 학습할 수 있도록 한다.
• 맨포이드 믹업과 표현 혼합을 통한 데이터 증강 기법은 암묵적인 간섭으로 작용하여 내성 강도와 소수의 샘플 학습 성능을 향상시킨다.
• 인과 표현 학습은 분리 가능하고 불변인 표현을 가능하게 하여 모델의 해석 가능성과 이식 가능성을 향상시킨다.
• 의료, 금융, 신경과학, 기후 과학 분야의 응용 사례는 인과 모델이 혼동 변수와 구조적 관계를 고려함으로써 편향을 줄이고 예측 정확도를 향상시킨다는 점을 보여준다.
• 진전이 있었음에도 불구하고, 스케일링 가능한 인과 구조 탐색, 반사적 추론, 실세계 적용 등 여전히 과제가 남아 있으며, 특히 고차원적이고 비정상적인 환경에서 이 문제는 더욱 심각하다.