[논문 리뷰] A Review and Roadmap of Deep Learning Causal Discovery in Different Variable Paradigms

Hang Chen, Keqing Du외 2명|arXiv (Cornell University)|2022. 09. 14.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 변수 패러다임 세 종류—확정적, 준확정적, 비확정적—으로 작업을 분류함으로써 딥러닝 기반 원인적 발견을 위한 통합 프레임워크를 제안한다. 각각에 대응하는 데이터셋(MVD, BVD, IVD)과 구조적 인과 모델(DSCM, SSCM, USCM)을 정의한다. 기존 방법을 검토하고, 비확정적 작업에서 USCM를 구성하기 위한 세 가지 로드맵(사전 기반, 샘플링 기반, 최대 그래프 기반)을 제안하며, 샘플링 편향과 혼란 변수 등의 주요 과제를 밝혀내어 딥러닝을 통한 인과 발견 분야의 향후 연구를 위한 종합적인 로드맵을 제공한다.

ABSTRACT

Understanding causality helps to structure interventions to achieve specific goals and enables predictions under interventions. With the growing importance of learning causal relationships, causal discovery tasks have transitioned from using traditional methods to infer potential causal structures from observational data to the field of pattern recognition involved in deep learning. The rapid accumulation of massive data promotes the emergence of causal search methods with brilliant scalability. Existing summaries of causal discovery methods mainly focus on traditional methods based on constraints, scores and FCMs, there is a lack of perfect sorting and elaboration for deep learning-based methods, also lacking some considers and exploration of causal discovery methods from the perspective of variable paradigms. Therefore, we divide the possible causal discovery tasks into three types according to the variable paradigm and give the definitions of the three tasks respectively, define and instantiate the relevant datasets for each task and the final causal model constructed at the same time, then reviews the main existing causal discovery methods for different tasks. Finally, we propose some roadmaps from different perspectives for the current research gaps in the field of causal discovery and point out future research directions.

연구 동기 및 목표

• 다양한 변수 패러다임에 걸쳐 딥러닝 기반 인과 발견 방법에 대한 체계적 분류와 통합이 부족한 문제를 해결하기 위해.
• 변수 패러다임에 기반해 세 가지 구체적인 인과 발견 작업을 정의하기 위해: 확정적(다중변수), 준확정적(이진변수), 비확정적(무한변수) 작업.
• 각 패러다임에 대응하는 데이터셋(MVD, BVD, IVD)과 구조적 인과 모델(DSCM, SSCM, USCM)을 도입하고 형식화하기 위해.
• 비확정적 작업에서 USCM를 구성하기 위한 세 가지 새로운 로드맵(사전 기반, 샘플링 기반, 최대 그래프 기반)을 제안하기 위해. 이는 데이터 희소성과 변수의 모호성으로 인한 주요 과제를 다루기 위함이다.
• 샘플링 편향, 측정 오차, 혼란 변수, 비선형 효과 등 신뢰할 수 있는 인과적 구조 탐색을 방해하는 주요 열린 문제들을 식별하고, 향후 연구 방향을 제시하기 위해.

제안 방법

• 인과적 발견을 변수 패러다임 세 종류로 분류함: 확정적(다중변수), 준확정적(이진변수), 비확정적(무한변수)으로 각각 고정된 변수 집합, 부분 영역 또는 구성 요소 수준의 인과 관계, 동적 또는 시퀀스 기반, 세밀한 수준의 인과 발견에 대응.
• 고정된 알려진 변수 집합이 있는 작업을 위한 다중변수 데이터셋(MVD)과 확정적 구조적 인과 모델(DSCM)을 정의함.
• 패턴 인식에서 부분 영역 또는 구성 요소 수준의 인과 관계를 다루는 작업을 위한 이진변수 데이터셋(BVD)과 준확정적 구조적 인과 모델(SSCM)을 도입함.
• 변수 집합이 고정되어 있지 않은 동적, 시퀀스 기반, 또는 세밀한 수준의 인과 발견을 위한 무한변수 데이터셋(IVD)과 비확정적 구조적 인과 모델(USCM)을 제안함.
• USCM 구성에 대한 세 가지 로드맵을 개발함: 사전 기반(도메인 지식 활용), 샘플링 기반(합성된 변수 집합 생성), 최대 그래프 기반(노드 제약 조건이 있는 전역 그래프 구조 학습).
• 최대 그래프 접근법에서 유사도 점수 최적화를 향상시키기 위해 메트릭 학습 기법인 Circle Loss를 적용함. 이는 양성 및 음성 거리의 적응적 가중치를 통해 최적화 안정성을 향상시킴.

실험 결과

연구 질문

• RQ1 딥러닝에서 변수 패러다임에 기반해 인과적 발견 작업을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 확정적, 준확정적, 비확정적 인과적 발견 작업의 정의적 특징, 데이터셋, 구조적 인과 모델은 무엇인가?
• RQ3 특히 변수 집합의 모호성과 데이터 희소성로 인해 주요 과제가 되는 비확정적 작업에서 USCM를 구성하는 데 있어 핵심 과제는 무엇인가?
• RQ4 비확정적 작업에서 USCM 구성이 가능하도록 하기 위해 사전 기반, 샘플링 기반, 최대 그래프 기반의 효과적인 로드맵을 어떻게 설계할 수 있는가?
• RQ5 샘플링 편향, 혼란 변수, 측정 오차 등 신뢰할 수 있는 인과적 발견의 핵심 열린 문제들은 무엇이며, 향후 연구에서 어떻게 이를 해결할 수 있는가?

주요 결과

• 논문은 변수 패러다임에 기반한 인과적 발견 작업에 대한 공식적인 분류 체계를 수립하여, 고정된 변수 집합, 부분 영역 또는 구성 요소 수준의 관계, 동적 또는 세밀한 수준의 인과 발견을 다루는 확정적, 준확정적, 비확정적 작업을 명확히 구분한다.
• MVD, BVD, IVD라는 세 가지 새로운 데이터셋 유형과 DSCM, SSCM, USCM라는 대응되는 구조적 인과 모델을 도입함으로써 향후 연구를 위한 표준화된 프레임워크를 제공한다.
• 최대 그래프 기반 로드맵은 제약 조건이 있는 노드 매핑을 통해 전역 그래프 구조를 학습함으로써 비확정적 작업에서 변수의 모호성 상황에서도 안정성과 해석 가능성 향상을 가능하게 한다.
• 최대 그래프 접근법에서 Circle Loss의 사용은 유사도 점수 최적화를 향상시키며, 부족하게 최적화된 유사도 점수에 대해 동적 가중치를 적용함으로써 수렴성과 기울기 명확성을 향상시킨다.
• 샘플링 편향, 측정 오차, 혼란 변수 등은 안정적인 인과적 구조 탐색을 방해하는 주요 장애물로 식별되었으며, 향후 방법론적 혁신이 필요하다.
• 딥러닝, 특히 시퀀스 및 세밀한 수준의 작업에 적합한 확장 가능하고 견고하며 해석 가능한 인과적 발견 방법 개발이 필요하다는 점을 강조하며, 향후 연구를 위한 종합적인 로드맵을 제공한다.