[논문 리뷰] When Does Self-Supervision Help Graph Convolutional Networks?

Yuning You, Tianlong Chen외 2명|arXiv (Cornell University)|2020. 06. 16.

Advanced Graph Neural Networks참고 문헌 53인용 수 65

한 줄 요약

이 논문은 세 가지 Scheme과 세 가지 Task를 통해 Self-Supervision을 GCN에 체계적으로 통합하는 것을 연구하며, 다중 태스크 Self-Supervision이 데이터셋 및 아키텍처 전반에서 가장 강한 일반화 및 로버스트니스 향상을 보인다.

ABSTRACT

Self-supervision as an emerging technique has been employed to train convolutional neural networks (CNNs) for more transferrable, generalizable, and robust representation learning of images. Its introduction to graph convolutional networks (GCNs) operating on graph data is however rarely explored. In this study, we report the first systematic exploration and assessment of incorporating self-supervision into GCNs. We first elaborate three mechanisms to incorporate self-supervision into GCNs, analyze the limitations of pretraining & finetuning and self-training, and proceed to focus on multi-task learning. Moreover, we propose to investigate three novel self-supervised learning tasks for GCNs with theoretical rationales and numerical comparisons. Lastly, we further integrate multi-task self-supervision into graph adversarial training. Our results show that, with properly designed task forms and incorporation mechanisms, self-supervision benefits GCNs in gaining more generalizability and robustness. Our codes are available at https://github.com/Shen-Lab/SS-GCNs.

연구 동기 및 목표

• 자기-감독 학습이 GCN 분류 성능을 향상시키는지 평가한다.
• GCN에 가장 유익한 자기-감독 태스크 설계가 무엇인지 식별한다.
• 자기감독을 GCN에 통합하기 위한 사전학습, 자기학습, 다중작업 학습 Scheme를 비교한다.
• 자기감독이 그래프의 적대적 로버스트니스를 향상시키는지 평가한다.

제안 방법

• GCN에 자기감독을 주입하는 세 가지 Scheme(사전학습&파인튜닝, Self-Training(M3S), 다중작업 학습) 분석.
• GCN 특화 자기지도 태스크 3개 제안: 노드 클러스터링, 그래프 분할, 그래프 완성.
• 다중작업 학습을 감독 손실과 자기손실(alpha 가중치)로 결합한 공동 목표로 형식화.
• 자기감독을 규제항으로 활용하는 그래프 적대적 방어 설정을 도입.
• 일반화와 로버스트니스를 평가하기 위해 표준 데이터셋(Cora, Citeseer, PubMed)과 SOTA GNN(GCN, GAT, GIN, GMNN, GraphMix)을 실험.

실험 결과

연구 질문

• RQ1 자기지도 학습이 GCN 분류 성능을 향상시키는가?
• RQ2 어떤 자기지도 선전태스크가 GCN에 유용한가?
• RQ3 자기지도 태스크의 설계가 데이터셋과 아키텍처 전반에서 GCN 성능에 영향을 미치는가?
• RQ4 자기감독이 GCN의 적대적 로버스트니스 향상에 기여하는가?
• RQ5 다양한 자기감독 스킴이 실제로 어떻게 비교되는가?

주요 결과

파이프라인	Cora	Citeseer	PubMed
GCN	81.00 ± 0.67	70.85 ± 0.70	79.10 ± 0.21
P&F-Clu	81.83 ± 0.65	71.06 ± 0.59	79.20 ± 0.22
P&F-Par	81.42 ± 0.51	70.68 ± 0.81	79.19 ± 0.21
P&F-Comp	81.25 ± 0.65	71.06 ± 0.55	79.19 ± 0.39
M3S	81.60 ± 0.51	71.94 ± 0.83	79.28 ± 0.30
MTL-Clu	81.57 ± 0.59	70.73 ± 0.84	78.79 ± 0.36
MTL-Par	81.83 ± 0.65	71.34 ± 0.69	80.00 ± 0.74
MTL-Comp	81.03 ± 0.68	71.66 ± 0.48	79.14 ± 0.28

• 다중작업 학습은 데이터셋 전반에서 GCN에 대해 사전학습&미세튜닝 및 자체학습보다 일관되게 우수하다.
• 그래프 분할(토폴로지 기반) 및 그래프 완성(맥락 기반)은 강력한 이점을 제공하며, 태스크의 효과성은 데이터셋과 아키텍처에 따라 달라진다.
• 다른 GNN 아키텍처(GCN, GAT, GIN)는 다중작업 자기감독의 혜택을 받으며, 일부 SLA(GMNN, GraphMix)는 태스크에 따라 혼합된 결과를 보인다.
• 다중작업 학습을 통한 자기감독은 더 큰 모델이나 더 많은 데이터 없이도 적대적 그래프 공격에 대한 로버스트니스 향상을 가능하게 한다.
• 그래프 완성은 이웃 맥락이 정보적일 때 상당한 이점을 제공할 수 있다.