[논문 리뷰] Exploring Causal Learning through Graph Neural Networks: An In-depth Review

Simi Job, Xiaohui Tao외 5명|arXiv (Cornell University)|2023. 11. 25.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 인과 학습을 위한 그래프 신경망(GNN)에 대한 종합적인 리뷰를 제시하며, 해결 기반, 학습 기반, 해석 가능성 기반의 세 가지 카테고리로 나누어 새로운 분류 체계를 도입한다. 최신 기법들을 통합하고 핵심 데이터셋을 정리하며, 인과 추론, 인과 발견, 인과 모델링을 위한 강건한 GNN 설계 분야의 핵심 과제와 향후 방향성을 규명한다.

ABSTRACT

In machine learning, exploring data correlations to predict outcomes is a fundamental task. Recognizing causal relationships embedded within data is pivotal for a comprehensive understanding of system dynamics, the significance of which is paramount in data-driven decision-making processes. Beyond traditional methods, there has been a surge in the use of graph neural networks (GNNs) for causal learning, given their capabilities as universal data approximators. Thus, a thorough review of the advancements in causal learning using GNNs is both relevant and timely. To structure this review, we introduce a novel taxonomy that encompasses various state-of-the-art GNN methods employed in studying causality. GNNs are further categorized based on their applications in the causality domain. We further provide an exhaustive compilation of datasets integral to causal learning with GNNs to serve as a resource for practical study. This review also touches upon the application of causal learning across diverse sectors. We conclude the review with insights into potential challenges and promising avenues for future exploration in this rapidly evolving field of machine learning.

연구 동기 및 목표

• 기계 학습에서 상관관계를 넘어서 인과적 이해의 필요성이 증가함에 따라, 특히 데이터 기반 의사결정 과정에서의 인과적 이해를 해결하고자 한다.
• GNN 기반의 인과 학습 방법에 대한 체계적인 분류 체계를 제공하여, 해결 기반, 학습 기반, 해석 가능성 기반의 접근 방식으로 분류하고자 한다.
• 재현 가능한 연구를 지원하기 위해 인과 학습에 필수적인 데이터셋을 종합하고 정리하고자 한다.
• GNN 기반의 인과 학습에서의 주요 과제, 특히 적대적 공격에 대한 강건성, 모델 결정의 해석 가능성, 확장성 등을 규명하고자 한다.
• 동적/이질적 그래프, 인과 표현 학습, 강건한 GNN 아키텍처 등 향후 연구 방향을 제시하고자 한다.

제안 방법

• 새로운 삼분류 체계를 제안: 해결 기반(예: 구조적 인과 모델링), 학습 기반(예: 인과 효과 추정을 위한 엔드 투 엔드 GNN), 해석 가능성 기반(예: 서브그래프 수준의 설명 방법).
• GNN 아키텍처가 데이터의 일반 근사기능임을 강조하며, 그래프 표현을 통해 복잡하고 동적인, 다중 모odal한 인과 관계를 모델링할 수 있음을 설명한다.
• 도-계산법, 전면 기준, 도구 변수 등의 전통적 인과 추론 기법들을 GNN 프레임워크에 통합하여 인과 효과 추정 능력을 향상시킨다.
• GNN 내의 임베딩 전파 및 메시지 전달 메커니즘을 핵심 구성 요소로 삼아 노드 및 간선 간의 인과적 의존성을 포착하는 데 초점을 맞춘다.
• 기울기 소실 문제를 완화하고 GNN의 깊이와 안정성을 향상시키기 위해 스위프 커넥션과 더 깊은 아키텍처를 분석한다.
• 적대적 강건성 및 해석 가능성 기법(예: 소프트마스크 학습, 토폴로지 인식 기반 설명)을 평가하며, 이산적인 인접 행렬의 특성으로 인해 기존 설명 기법(예: 입력 최적화)이 적용되지 않는 한계를 강조한다.

Figure 1: Survey Overview

실험 결과

연구 질문

• RQ1 GNN은 인과 학습에서 수행하는 역할에 따라 어떻게 체계적으로 분류될 수 있으며, 각 카테고리의 주요 특징은 무엇인가?
• RQ2 GNN 기반 인과 학습에서 재현 가능한 연구를 지원하는 데 핵심이 되는 주요 데이터셋과 벤치마크 자원은 무엇인가?
• RQ3 GNN을 인과 추론에 적용할 때의 주요 과제는 무엇인가? 특히 적대적 공격에 대한 강건성과 모델 결정의 해석 가능성은 어떻게 고려되어야 하는가?
• RQ4 GNN 기반 방법은 기존의 인과 발견 및 추론 기법에 비해 확장성과 일반화 능력 측면에서 어떻게 향상되는가?
• RQ5 동적, 이질적, 다층 구조의 그래프에서 인과 학습을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• GNN은 그래프 구조적 데이터 표현을 통해 비선형적이고 고차원적인 복잡한 인과 관계를 모델링함으로써 인과 학습 능력을 크게 향상시킨다.
• 해결 기반, 학습 기반, 해석 가능성 기반의 GNN 방법에 대한 제안된 분류 체계는 GNN 기반 인과 학습 기법의 분류 및 발전을 위한 체계적인 프레임워크를 제공한다.
• 기존의 인과 학습을 위한 GNN은 특히 구조적 및 속성 변형에 취약하여 강건성에 문제가 있으며, 새로운 방어 기법이 필요로 한다.
• 해석 가능성은 인접 행렬의 이산적 성질로 인해 제한되어 있으며, 표준적인 설명 기법(예: 입력 최적화)이 적용되지 않는다.
• 현재의 해석 가능한 GNN은 주로 인스턴스 수준의 설명에 국한되어 있으며, 모델 수준의 해석 가능성은 부족하고, 그래프 수준의 설명에 대한 표준 평가 지표도 존재하지 않는다.
• 향후 인과 학습을 위한 GNN은 더 깊고 더 민첩한 아키텍처가 필요하며, 동적 및 이질적 그래프 구조의 처리 능력을 향상시켜 안정성과 적응성을 확보해야 한다.

Figure 2: Traditional graph learning and causal learning methods