[논문 리뷰] Debiasing Graph Neural Networks via Learning Disentangled Causal Substructure

Shaohua Fan, Xiao Wang외 3명|arXiv (Cornell University)|2022. 09. 28.

Advanced Graph Neural Networks인용 수 38

한 줄 요약

학습 가능한 엣지 마스크를 통해 그래프를 인과 서브그래프와 바이어스 서브그래프로 분리하는 해석 가능한 GNN 프레임워크 DisC를 제안하고, 각 서브그래프에서 바이어스 인식 및 인과 손실이 적용된 별도의 GNN을 학습시키며, 심한 바이어스 하에서 일반화를 개선하기 위해 반사실적 편향되지 않은 샘플을 생성한다.

ABSTRACT

Most Graph Neural Networks (GNNs) predict the labels of unseen graphs by learning the correlation between the input graphs and labels. However, by presenting a graph classification investigation on the training graphs with severe bias, surprisingly, we discover that GNNs always tend to explore the spurious correlations to make decision, even if the causal correlation always exists. This implies that existing GNNs trained on such biased datasets will suffer from poor generalization capability. By analyzing this problem in a causal view, we find that disentangling and decorrelating the causal and bias latent variables from the biased graphs are both crucial for debiasing. Inspiring by this, we propose a general disentangled GNN framework to learn the causal substructure and bias substructure, respectively. Particularly, we design a parameterized edge mask generator to explicitly split the input graph into causal and bias subgraphs. Then two GNN modules supervised by causal/bias-aware loss functions respectively are trained to encode causal and bias subgraphs into their corresponding representations. With the disentangled representations, we synthesize the counterfactual unbiased training samples to further decorrelate causal and bias variables. Moreover, to better benchmark the severe bias problem, we construct three new graph datasets, which have controllable bias degrees and are easier to visualize and explain. Experimental results well demonstrate that our approach achieves superior generalization performance over existing baselines. Furthermore, owing to the learned edge mask, the proposed model has appealing interpretability and transferability. Code and data are available at: https://github.com/googlebaba/DisC.

연구 동기 및 목표

• 인과적 관점에서 GNN으로 그래프 분류에 대한 심한 바이어스의 영향에 대해 동기를 부여하고 분석한다.
• 그래프에서 인과 서브구조와 바이어스 서브구조를 분리해내는 프레임워크를 개발한다.
• 그래프를 인과 서브그래프와 바이어스 서브그래프로 구분하기 위해 글로벌 엣지 마스크를 학습한다.
• 각 서브그래프에 바이어스 인식 및 인과 손실을 갖춘 전용 GNN 모듈을 학습한다.
• 인과 신호와 바이어스 신호의 상관관계를 제거하기 위해 반사실적 편향되지 않은 표현을 생성한다.

제안 방법

• 인과 서브그래프와 바이어스 서브그래프를 형성하기 위해 엣지 수준 확률을 할당하는 매개변수화된 엣지 마스크 생성기를 도입한다.
• 마스킹된 서브그래프에서 두 개의 GNN을 학습한다: 인과 GNN과 바이어스 GNN으로 각기 대응하는 손실 함수(인과 손실과 일반화된 교차 엔트로피 바이어스 손실)를 갖는다.
• 바이어스 인식 손실(일반화된 교차 엔트로피)을 사용하여 바이어스 서브구조의 학습을 강조하고, 인과 가지에서 인과를 강조하기 위해 가중된 교차 엔트로피를 사용한다.
• 그래프를 재가중하기 위한 편향되지 않은 점수를 계산하고 선택적으로 가중된 손실로 인과 가지를 학습한다.
• 그래프 간 바이어스 표현을 순열하고 대응하는 레이블을 교환하여 반사실적 편향되지 않은 샘플을 생성한 후, 이 샘플들을 포함하는 결합 손실로 학습한다.

실험 결과

연구 질문

• RQ1 심한 바이어스가 그래프 분류에서 GNN 일반화에 어떤 영향을 미치는가?
• RQ2 집단 전체 차원에서 편향된 그래프에서 인과 서브구조와 바이어스 서브구조를 해리해낼 수 있는가?
• RQ3 인과 요인과 바이어스 요인의 상관관계를 제거하고 일반화를 개선하기 위해 반사실적 편향되지 않은 샘플을 생성할 수 있는가?
• RQ4 그래프 모집단에 걸쳐 전역 엣지 마스크가 인과 서브그래프와 바이어스 서브그래프를 식별하는 데 얼마나 효과적인가?
• RQ5 DisC 프레임워크가 다수의 기본 GNN 아키텍처에서 일반화를 향상시키는가?

주요 결과

• DisC는 여러 바이어스 정도에 걸친 세 개의 편향 그래프 데이터셋에서 기본 GNN에 비해 일반화를 크게 향상시킨다.
• DisC는 DIR 및 StableGNN와 같은 기존 디바이싱 방법보다 일관되게 우수하며, 특히 더 심한 바이어스에서 더 두드러진다.
• 엣지 마스킹은 해석 가능한 하위그래프를 생성하는데, 인과 서브그래프가 진정한 판별 구조와 정렬되도록 하고, 바이어스 서브그래프는 위조적 패턴과 정렬된다.
• 반사실적 임베딩 생성은 인과 요인과 바이어스 요인을 상관관계에서 벗어나게 하여 인과 신호가 예측을 주도하도록 한다.
• 해석 가능한 표현은 잠재 공간에서 인과 요인과 바이어스 요인으로 클러스터링되는 것을 보이며, 해석성과 전이가능성을 뒷받침한다.