[논문 리뷰] Learning Causally Invariant Representations for Out-of-Distribution Generalization on Graphs
CIGA는 라벨-원인 정보를 보존하는 불변 서브그래프를 추출하여 환경 라벨 없이 그래프 분류에 대해 증명 가능한 OOD 일반화를 가능하게 하는 인과성-영감 프레임워크를 제안한다. FIIF/PIIF 기반의 인과 모델과 불변 서브그래프를 식별하고 OOD 강건성을 향상시키는 두 가지 실용적 목적을 도입하며, DrugOOD를 포함한 16개 데이터세트에서 강력한 실험 결과를 보여준다.
Despite recent success in using the invariance principle for out-of-distribution (OOD) generalization on Euclidean data (e.g., images), studies on graph data are still limited. Different from images, the complex nature of graphs poses unique challenges to adopting the invariance principle. In particular, distribution shifts on graphs can appear in a variety of forms such as attributes and structures, making it difficult to identify the invariance. Moreover, domain or environment partitions, which are often required by OOD methods on Euclidean data, could be highly expensive to obtain for graphs. To bridge this gap, we propose a new framework, called Causality Inspired Invariant Graph LeArning (CIGA), to capture the invariance of graphs for guaranteed OOD generalization under various distribution shifts. Specifically, we characterize potential distribution shifts on graphs with causal models, concluding that OOD generalization on graphs is achievable when models focus only on subgraphs containing the most information about the causes of labels. Accordingly, we propose an information-theoretic objective to extract the desired subgraphs that maximally preserve the invariant intra-class information. Learning with these subgraphs is immune to distribution shifts. Extensive experiments on 16 synthetic or real-world datasets, including a challenging setting -- DrugOOD, from AI-aided drug discovery, validate the superior OOD performance of CIGA.
연구 동기 및 목표
- 그래프에서의 OOD 일반화에 대한 동기 부여와 구조적/속성 수준의 시프트로 인한 도전 과제 제시
- FIIF/PIIF SCM 아래 라벨의 원인을 인코딩하는 불변 서브그래프를 식별하는 CIGA 제안
- 정보 이론적 목표와 실제 구현을 통해 불변 서브그래프를 추출
- 다양한 그래프 데이터셋에서 OOD 보장을 이론적으로 정당화하고 실험적으로 검증
제안 방법
- GNN을 특징 추출자 g와 불변 서브그래프 G_c를 추출하고 Y를 G_c에서 예측하는 분류기 f_c로 구성
- G_c_hat와 Y 사이의 상호 정보 I(G_c_hat; Y)를 최대화하는 제약으로 환경 E와 G_c_hat의 독립성을 유지하는 정보 이론적 목표 수립
- G_s 정보의 누출을 최소화하되 예측력을 유지하는 상호 정보 기반 제약을 추가하여 CIGA v2 도입
- 실용적 학습을 위한 대조학습 목표(Eq. 5)로 서로 정보 이론 항 근사
- 제안된 목표에 대한 해가 FIIF/PIIF SCM 하에서 불변 GNN을 산출함을 보이는 이론적 보장(Theo 도 3.1)
- 정보 해석 가능 GNN 아키텍처와 정보 한도를 강제하는 힌지-유사 손실 등을 활용한 실무적 구현 선택지 논의
실험 결과
연구 질문
- RQ1그래프 데이터에 invariance 원리를 어떻게 확장하여 OOD 일반화를 보장할 수 있는가?
- RQ2환경 시프트와 독립적으로 라벨의 원인을 포착하는 불변 서브그래프 G_c를 식별할 수 있는가?
- RQ3환경 라벨 없이도 불변 구조를 추출하기 위한 정보 이론적 목표를 어떻게 운용화할 수 있는가?
- RQ4제안된 CIGA 목표들이 다양한 그래프 시프트와 실제 데이터셋에서 증명 가능한 OOD 보장을 제공하는가?
주요 결과
| Method | SPMotif-Struc_bias0.33 | SPMotif-Struc_bias0.60 | SPMotif-Struc_bias0.90 | SPMotif-Mixed_bias0.33 | SPMotif-Mixed_bias0.60 | SPMotif-Mixed_bias0.90 | Avg |
|---|---|---|---|---|---|---|---|
| ERM | 59.49 (3.50) | 55.48 (4.84) | 49.64 (4.63) | 58.18 (4.30) | 49.29 (8.17) | 41.36 (3.29) | 52.24 |
| ASAP | 64.87 (13.8) | 64.85 (10.6) | 57.29 (14.5) | 66.88 (15.0) | 59.78 (6.78) | 50.45 (4.90) | 60.69 |
| DIR | 58.73 (11.9) | 48.72 (14.8) | 41.90 (9.39) | 67.28 (4.06) | 51.66 (14.1) | 38.58 (5.88) | 51.14 |
| IRM | 57.15 (3.98) | 61.74 (1.32) | 45.68 (4.88) | 58.20 (1.97) | 49.29 (3.67) | 40.73 (1.93) | 52.13 |
| V-Rex | 54.64 (3.05) | 53.60 (3.74) | 48.86 (9.69) | 57.82 (5.93) | 48.25 (2.79) | 43.27 (1.32) | 51.07 |
| EIIL | 56.48 (2.56) | 60.07 (4.47) | 55.79 (6.54) | 53.91 (3.15) | 48.41 (5.53) | 41.75 (4.97) | 52.73 |
| IB-IRM | 58.30 (6.37) | 54.37 (7.35) | 45.14 (4.07) | 57.70 (2.11) | 50.83 (1.51) | 40.27 (3.68) | 51.10 |
| CNC | 70.44 (2.55) | 66.79 (9.42) | 50.25 (10.7) | 65.75 (4.35) | 59.27 (5.29) | 41.58 (1.90) | 59.01 |
| CIGA v1 | 71.07 (3.60) | 63.23 (9.61) | 51.78 (7.29) | 74.35 (1.85) | 64.54 (8.19) | 49.01 (9.92) | 62.33 |
| CIGA v2 | 77.33 (9.13) | 69.29 (3.06) | 63.41 (7.38) | 72.42 (4.80) | 70.83 (7.54) | 54.25 (5.38) | 67.92 |
| Oracle (IID) | - | 88.70 (0.17) | - | - | 88.73 (0.25) | - | - |
- CIGA는 16개의 합성 및 실제 데이터셋에서 기존 방법보다 OOD 성능을 크게 향상시킨다.
- CIGA v2는 보고된 실험에서 경쟁 방법에 비해 주목할 만한 향상을 달성한다.
- 프레임워크는 FIIF/PIIF SCM 하에서 불변 GNN이 등장한다는 이론적 보장(Theo 3.1)을 제공한다.
- 대조적 유사 근사법은 환경 라벨 없이 상호 정보 목표를 실용적으로 최적화하게 해준다.
- CIGA는 도전적인 DrugOOD 설정에서 강력한 베이스라인을 능가한다.
더 나은 연구,지금 바로 시작하세요
연구 설계부터 논문 작성까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.