[논문 리뷰] Let Invariant Rationale Discovery Inspire Graph Contrastive Learning
RGCL은 자동으로 rationale 서브그래프를 발견하여 불변하고 rationale-aware한 뷰를 그래프 대비 학습에 생성하고, 여러 벤치마크에서 최첨단 성과를 달성합니다.
Leading graph contrastive learning (GCL) methods perform graph augmentations in two fashions: (1) randomly corrupting the anchor graph, which could cause the loss of semantic information, or (2) using domain knowledge to maintain salient features, which undermines the generalization to other domains. Taking an invariance look at GCL, we argue that a high-performing augmentation should preserve the salient semantics of anchor graphs regarding instance-discrimination. To this end, we relate GCL with invariant rationale discovery, and propose a new framework, Rationale-aware Graph Contrastive Learning (RGCL). Specifically, without supervision signals, RGCL uses a rationale generator to reveal salient features about graph instance-discrimination as the rationale, and then creates rationale-aware views for contrastive learning. This rationale-aware pre-training scheme endows the backbone model with the powerful representation ability, further facilitating the fine-tuning on downstream tasks. On MNIST-Superpixel and MUTAG datasets, visual inspections on the discovered rationales showcase that the rationale generator successfully captures the salient features (i.e. distinguishing semantic nodes in graphs). On biochemical molecule and social network benchmark datasets, the state-of-the-art performance of RGCL demonstrates the effectiveness of rationale-aware views for contrastive learning. Our codes are available at https://github.com/lsh0520/RGCL.
연구 동기 및 목표
- 그래프 대조 학습을 불변성 관점에서 동기 부여하고 무작위 증강 및 지식 기반 증강의 한계를 식별한다.
- 불변 rationale 발견(IRD)을 제시하여 GCL용 rationale-aware 증강을 설계하는 다리로 삼는다.
- 대조 사전학습을 위해 근거 생성기와 백본 인코더를 공동으로 학습하는 RGCL을 개발한다.
- 생물화학 분자, 사회 네트워크, 이미지 파생 그래프 데이터셋에서 RGCL의 효과를 광범위한 실험으로 입증한다.
제안 방법
- 근거를 판별적 서브그래프 부분집합으로 정의하고 그 선택을 확률적 프로세스로 모델링한다.
- 노드 기여 점수 p(v|g)를 출력하고 R(g)와 C(g)을 샘플링하는 근거 생성기 r(g)을 학습한다.
- R(g)을 노드별 가중치를 갖는 근거 서브그래프에 GNN을 적용해 x_R을 표현하고, 보완인 C의 경우에도 x_C를 계산한다.
- 투영 헤드를 사용해 r과 c를 얻고 충분성(l_s)과 독립성(l_in) 목표를 결합한 결합 손실을 최적화한다.
- l_s(g) + λ l_in(g)을 최소화하는 방식으로 RGCL을 최적화하여 불변하고 근거 인지 뷰를 촉진하고 근거를 그 보완으로부터 분리한다.
실험 결과
연구 질문
- RQ1RQ1: 근거 생성기가 그래프 데이터에서 인스턴스 구분을 지지하는 의미론적으로 중요한 노드를 신뢰할 수 있게 식별하는가?
- RQ2RQ2: 근거 인지 뷰가 다운스트림 작업 및 전이 학습에서 GCL 성능을 기본 방법들보다 향상시키는가?
- RQ3RQ3: 충분성 목표와 독립성 목표가 견고하고 불변한 합리화를 학습하는 데 어떻게 기여하는가?
- RQ4RQ4: RGCL은 생물화학 분자, 사회 네트워크, 이미지 파생 그래프 등 다양한 도메인에서 어떻게 성능을 발휘하는가?
주요 결과
- RGCL은 생물화학 및 사회 네트워크 벤치마크에서 최첨단 혹은 경쟁력 있는 성능을 달성하여 여러 강력한 GCL 기준선을 능가한다.
- 근거 가이드 뷰가 더 많은 의미 정보를 보존하고 MoleculeNet 데이터셋에서 전이 학습 정확도를 향상시킨다(논문에 AVG 증가로 보고).
- 아블레이션 연구는 근거 뷰를 제거하거나 독립성 항을 제거하면 성능이 저하되어 제안된 구성 요소의 중요성을 강조한다.
- 시각화 결과 근거 생성기가 의미적으로 중요한 중심 노드(의미적 영역)에 집중하고 에지/배경 영역을 통해 다양성을 유지함을 시사한다.
- MNIST-Superpixel에서 RGCL은 GraphCL 및 다른 기준선들을 능가하여 비분자 도메인에서도 효과를 입증한다.
- 다운스트림 작업 전반에서 RGCL은 MoleculeNet 및 TU 데이터셋에서 여러 비지도 기준선보다 더 높은 평균 ROC-AUC를 기록한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.