[논문 리뷰] InfoGCL: Information-Aware Graph Contrastive Learning

Dongkuan Xu, Wei Cheng외 3명|arXiv (Cornell University)|2021. 10. 28.

Advanced Graph Neural Networks참고 문헌 44인용 수 32

한 줄 요약

InfoGCL은 시야 증강, 시야 인코딩, 표현 대비를 분리하는 정보 이론적 프레임워크를 제공하여 기존 방법들을 통합하고 강력한 그래프 및 노드 분류 성능을 달성합니다.

ABSTRACT

Various graph contrastive learning models have been proposed to improve the performance of learning tasks on graph datasets in recent years. While effective and prevalent, these models are usually carefully customized. In particular, although all recent researches create two contrastive views, they differ greatly in view augmentations, architectures, and objectives. It remains an open question how to build your graph contrastive learning model from scratch for particular graph learning tasks and datasets. In this work, we aim to fill this gap by studying how graph information is transformed and transferred during the contrastive learning process and proposing an information-aware graph contrastive learning framework called InfoGCL. The key point of this framework is to follow the Information Bottleneck principle to reduce the mutual information between contrastive parts while keeping task-relevant information intact at both the levels of the individual module and the entire framework so that the information loss during graph representation learning can be minimized. We show for the first time that all recent graph contrastive learning methods can be unified by our framework. We empirically validate our theoretical analysis on both node and graph classification benchmark datasets, and demonstrate that our algorithm significantly outperforms the state-of-the-arts.

연구 동기 및 목표

• 그래프 대비 학습에서 그래프 정보가 어떻게 변환되고 전달되는지 설명한다.
• 모듈 및 프레임워크 수준에서 작업 관련 정보를 보존하면서 정보 손실을 최소화하는 정보 이론적 프레임워크(InfoGCL)를 제안한다.
• 공통 원칙 아래 기존 그래프 대비 학습 방법을 통합하고 모듈 설계에 대한 실용적 가이드를 제공한다.
• 그래프 대비 학습에서 음의 샘플의 역할을 분석하고 음수가 유익한 경우를 평가한다.

제안 방법

• 그래프 대비 학습을 시야 증강, 시야 인코딩, 표현 대비의 세 단계로 분해한다.
• 각 단계에 정보 병목 원리를 적용하여 시야, 인코더, 대비 모드의 최적성 보기를 도출한다.
• 최적의 증강 시야를 정의한다(I(v_i; v_j)를 최소화하되 I(v_i; y) = I(v_j; y) = I(G; y)를 유지).
• 최적의 시야 인코더를 정의한다(I(f_i(v_i); v_i)를 최소화하되 I(f_i(v_i); v_j) = I(v_i; v_j)).
• 최적의 대비 모드를 정의한다(상호 정보 기반 기준을 통해 보존된 작업 관련 정보를 최대화하도록 c_i, c_j를 선택).
• 다양한 그래프 시야 증강(노드 제거, 모서리 섭동, 속성 마스킹, 부분그래프 샘플링)과 대비 모드(글로벌-글로벌, 로컬-글로벌, 로컬-로컬, 다중 스케일, 하이브리드)를 평가한다.
• 음의 샘플이 필요한지 여부를 SimSiam 스타일의 음수 없는 손실로 채택하고 음수를 포함한 변형과 비교한다.

실험 결과

연구 질문

• RQ1 증강된 시야를 선택하여 작업 관련 정보를 최대화하고 비작업 정보의 공유를 최소화하려면 어떻게 해야 하는가?
• RQ2 인코딩 후 공유 작업 관련 정보를 가장 효과적으로 보존하는 인코더는 무엇인가?
• RQ3 최적의 시야와 인코더를 가정할 때 어떤 대비 모드가 하류 작업 정보를 가장 잘 보존하는가?
• RQ4 그래프 대비 학습에서 음의 샘플이 다양한 작업과 데이터셋에서 성능에 실질적인 영향을 미치는가?

주요 결과

방법	MUTAG	PTC-MR	IMDB-B	IMDB-M	NCI1	COLLAB
커널 접근 방식 – SP	85.2 ± 2.4	58.2 ± 2.4	55.6 ± 0.2	38.0 ± 0.3	73.5 ± 0.1	-
커널 접근 방식 – GK	81.7 ± 2.1	57.3 ± 1.4	65.9 ± 1.0	43.9 ± 0.4	66.0 ± 0.1	72.8 ± 0.3
커널 접근 방식 – WL	80.7 ± 3.0	58.0 ± 0.5	72.3 ± 3.4	47.0 ± 0.5	80.0 ± 0.5	78.9 ± 1.9
커널 접근 방식 – DGK	87.4 ± 2.7	60.1 ± 2.6	67.0 ± 0.6	44.6 ± 0.5	80.3 ± 0.5	73.1 ± 0.3
커널 접근 방식 – MLG	87.9 ± 1.6	63.3 ± 1.5	66.6 ± 0.3	41.2 ± 0.0	80.8 ± 1.3	-
감독 학습 접근 방식 – GraphSAGE	85.1 ± 7.6	63.9 ± 7.7	72.3 ± 5.3	50.9 ± 2.2	77.7 ± 1.5	68.3 ± 4.2
감독 학습 접근 방식 – GCN	85.6 ± 5.8	64.2 ± 4.3	74.0 ± 3.4	51.9 ± 3.8	80.2 ± 2.0	79.0 ± 1.8
감독 학습 접근 방식 – GIN-0	89.4 ± 5.6	64.6 ± 7.0	75.1 ± 5.1	52.3 ± 2.8	82.7 ± 1.7	80.2 ± 1.9
감독 학습 접근 방식 – GIN-e	89.0 ± 6.0	63.7 ± 8.2	74.3 ± 5.1	52.1 ± 3.6	82.7 ± 1.6	80.1 ± 1.9
감독 학습 접근 방식 – GAT	89.4 ± 6.1	66.7 ± 5.1	70.5 ± 2.3	47.8 ± 3.1	66.6 ± 2.2	67.4 ± 2.9
비감독 학습 접근 방식 – RandomWalk	83.7 ± 1.5	57.9 ± 1.3	50.7 ± 0.3	34.7 ± 0.2	64.3 ± 0.3	-
비감독 학습 접근 방식 – node2vec	72.6 ± 10.2	58.6 ± 8.0	50.2 ± 0.9	36.0 ± 0.7	54.9 ± 1.6	56.1 ± 0.2
비감독 학습 접근 방식 – sub2vec	61.1 ± 15.8	60.0 ± 6.4	55.3 ± 1.5	36.7 ± 0.8	52.8 ± 1.5	-
비감독 학습 접근 방식 – graph2vec	83.2 ± 9.6	60.2 ± 6.9	71.1 ± 0.5	50.4 ± 0.9	75.4 ± 1.2	-
비감독 학습 접근 방식 – InfoGraph	89.0 ± 1.1	61.7 ± 1.4	73.0 ± 0.9	49.7 ± 0.5	76.2 ± 1.4	70.7 ± 1.1
비감독 학습 접근 방식 – GraphCL	86.8 ± 1.3	61.3 ± 2.1	71.1 ± 0.4	49.2 ± 0.6	77.9 ± 0.4	71.4 ± 1.2
비감독 학습 접근 방식 – mvgrl	89.7 ± 1.1	62.5 ± 1.7	74.2 ± 0.7	51.2 ± 0.5	77.0 ± 0.8	76.0 ± 1.2
InfoGCL (보고됨)	91.2 ± 1.3	63.5 ± 1.5	75.1 ± 0.9	51.4 ± 0.8	80.2 ± 0.6	80.0 ± 1.3

• InfoGCL은 노드 및 그래프 분류 벤치마크에서 상태-of-the-art와 경쟁력 있는 성능을 달성한다.
• 그래프 분류에서 InfoGCL은 선도적인 비지도 방법 및 경쟁력 있는 지도 방법과 동등하거나 이를 능가하는 성능을 보이며 예시로 MUTAG에서 91.2%, Citeseer에서 63.5%, Pubmed에서 75.1%를 달성한다(표 2의 예).
• InfoGCL은 다수 데이터셋에서 다른 방법들보다 우수한 성능을 보이며 그래프 분류 작업에서 특히 상승 효과가 크다(일부 설정에서 상대적 개선이 약 5.2%까지 나타남).
• 음수 샘플은 반드시 필요하지 않으며 음수를 제거해도 다수의 그래프 데이터셋에서 성능이 유지되지만 Cora/Citeseer/Pubmed와 같이 희소한 그래프에서 노드 수준 작업에 약간의 손실이 있을 수 있다(표 4).
• 통합된 관점이 가능하다: 최신 그래프 대비 학습 방법의 대부분은 정보 병목에 의해 안내되는 InfoGCL의 3단계 프레임워크의 사례로 해석될 수 있다.