[논문 리뷰] Robust Causal Graph Representation Learning against Confounding Effects

Hang Gao, Jiangmeng Li외 5명|arXiv (Cornell University)|2022. 08. 18.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 조건부 모멘트 제약 조건 하에서 통제 변수를 생성함으로써 그래프 표현 학습에서 혼동 요인의 영향을 제거하는 새로운 방법인 강건한 인과 그래프 표현 학습(RCGRL)을 제안한다. 능동적으로 혼동 요인을 식별하고 제거함으로써 RCGRL은 도메인 내 및 도메인 외 그래프 벤치마크에서 예측 성능과 일반화 성능을 향상시키며, 다양한 데이터셋에서 최신 기법들을 능가한다.

ABSTRACT

The prevailing graph neural network models have achieved significant progress in graph representation learning. However, in this paper, we uncover an ever-overlooked phenomenon: the pre-trained graph representation learning model tested with full graphs underperforms the model tested with well-pruned graphs. This observation reveals that there exist confounders in graphs, which may interfere with the model learning semantic information, and current graph representation learning methods have not eliminated their influence. To tackle this issue, we propose Robust Causal Graph Representation Learning (RCGRL) to learn robust graph representations against confounding effects. RCGRL introduces an active approach to generate instrumental variables under unconditional moment restrictions, which empowers the graph representation learning model to eliminate confounders, thereby capturing discriminative information that is causally related to downstream predictions. We offer theorems and proofs to guarantee the theoretical effectiveness of the proposed approach. Empirically, we conduct extensive experiments on a synthetic dataset and multiple benchmark datasets. The results demonstrate that compared with state-of-the-art methods, RCGRL achieves better prediction performance and generalization ability.

연구 동기 및 목표

• 사전 학습된 그래프 모델이 잘라낸 그래프에서 성능이 떨어지는 데 기인한 무시된 문제, 즉 그래프 내에서 혼동 요인 하위 구조가 존재한다는 점을 다루기 위해.
• 임의의 상관관계를 유도하는 요인들로 인해 그래프의 혼동 요인이 존재함을 정식화하고, 이로 인해 모델의 성능과 일반화 능력이 저하됨을 설명하기 위해.
• 하류 예측과 인과적으로 연결된 표현을 학습하기 위해 능동적으로 혼동 요인을 제거하는 인과 표현 학습 프레임워크를 개발하기 위해.
• 모멘트 제약 조건 하에서 통제 변수 생성이 그래프 데이터에서 혼동 요인 영향을 효과적으로 제거할 수 있음을 이론적이고 실증적으로 검증하기 위해.

제안 방법

• RCGRL은 조건부 모멘트 제약 조건 하에서 능동적인 통제 변수(IV) 생성 메커니즘을 도입하여 그래프 데이터에서 혼동 요인 영향을 식별하고 완화한다.
• 이 방법은 GNN의 특정 레이어(u번째 레이어)에 통제 변수를 적용하여 특징 수준에서 혼동 요인을 제거함으로써 의미 정보를 유지하면서도 비합리적인 상관관계를 제거한다.
• 대부분의 표현 품질과 강건성을 향상시키기 위해 가중치 손실 함수(w)와 대비 학습 목표(ℒₐ)를 활용한다.
• 이 프레임워크는 인과 추론 이론에 기반하며, IV 기반 혼동 요인 제거의 타당성을 보장하기 위해 정리와 증명을 통해 이론적 보장을 제공한다.
• 모델은 그래프 그레인저 인과성(Granger Causality)을 사용하여 혼동 요인을 식별하고 측정함으로써 비인과 하위 구조를 정확히 제거할 수 있도록 한다.
• RCGRL은 GNN 기반 모델을 엔드 투 엔드로 훈련하며, IV 삽입과 대비 학습을 통합하여 도메인 내 및 도메인 외 데이터셋에서의 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 그래프 내 혼동 요인 하위 구조는 그래프 신경망의 성능과 일반화 능력을 떨어뜨리는가?
• RQ2 조건부 모멘트 제약 조건 하에서 생성된 통제 변수는 그래프 표현 학습에서 혼동 요인을 효과적으로 제거할 수 있는가?
• RQ3 GNN 아키텍처의 특정 레이어에 통제 변수를 삽입함으로써 의미 정보는 유지하면서도 비합리적인 상관관계는 제거되는가?
• RQ4 RCGRL은 도메인 외 그래프 벤치마크에서 최신 기법들과 비교해 강건성 면에서 어떻게 성능을 내는가?
• RQ5 성능을 최대화하기 위해 통제 변수를 삽입할 최적의 위치(레이어)는 어디인가?

주요 결과

• RCGRL은 모든 도메인 내 및 도메인 외 그래프 벤치마크에서 ERM, GAT, Top-k Pool, Group DRO, IRM, DIR 등 모든 베이스라인보다 뛰어난 성능을 기록한다.
• Spurious-Motif 데이터셋에서 RCGRL은 최고의 베이스라인 대비 정확도에서 12.3% 향상되어 분포 이동 조건 하에서도 강력한 일반화 능력을 입증한다.
• 절단 실험 결과, 가중치 요소(w) 또는 대비 손실(ℒₐ)을 제거할 경우 성능 저하가 발생함을 확인하여, 이들이 강건성 향상에 효과적임을 입증한다.
• 통제 변수를 u=2 레이어에 삽입할 경우, RCGRL는 모든 데이터셋에서 최고 성능을 기록하여 혼동 요인 제거에 가장 적절한 시점임을 시사한다.
• 시각화 및 혼동 요인 비율 분석 결과, RCGRL는 Mol-BACE 및 Mol-BBBP에서 혼동 요인 비율을 50% 이상 감소시키며 의미 정보 손실이 크지 않음을 확인한다.
• Graph-SST2(ID), Graph-Twitter, Mol-BBBP, Mol-BACE에서 모두 최신 기법을 능가하는 성능을 기록하며, 도메인 내 및 도메인 외 설정 모두에서 일관된 성능 향상을 보였다.