[논문 리뷰] Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization

Mingxuan Ju, Tong Zhao외 5명|arXiv (Cornell University)|2022. 10. 05.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

ParetoGNN는 상호 정보 최대화, 특성 재구성, 화이트닝 분산 등 다양한 학습 철학에 기반한 다수의 사전 과제를 동시에 최적화하는 다중 태스크 자기지도 학습 그래프 신경망을 제안한다. 이는 다중 기울기 하강 알고리즘을 사용해 파레토 최적성을 달성한다. 이러한 접근은 노드 분류, 클러스터링, 링크 예측, 분할 과제 등에서 더 강력한 태스크 일반화를 가능하게 하며, 11개의 벤치마크 데이터셋에서 최신 기술(SOTA)을 초월하여 평균 성능 순위를 2.5점 향상시킨다.

ABSTRACT

Self-supervised learning (SSL) for graph neural networks (GNNs) has attracted increasing attention from the graph machine learning community in recent years, owing to its capability to learn performant node embeddings without costly label information. One weakness of conventional SSL frameworks for GNNs is that they learn through a single philosophy, such as mutual information maximization or generative reconstruction. When applied to various downstream tasks, these frameworks rarely perform equally well for every task, because one philosophy may not span the extensive knowledge required for all tasks. To enhance the task generalization across tasks, as an important first step forward in exploring fundamental graph models, we introduce PARETOGNN, a multi-task SSL framework for node representation learning over graphs. Specifically, PARETOGNN is self-supervised by manifold pretext tasks observing multiple philosophies. To reconcile different philosophies, we explore a multiple-gradient descent algorithm, such that PARETOGNN actively learns from every pretext task while minimizing potential conflicts. We conduct comprehensive experiments over four downstream tasks (i.e., node classification, node clustering, link prediction, and partition prediction), and our proposal achieves the best overall performance across tasks on 11 widely adopted benchmark datasets. Besides, we observe that learning from multiple philosophies enhances not only the task generalization but also the single task performances, demonstrating that PARETOGNN achieves better task generalization via the disjoint yet complementary knowledge learned from different philosophies. Our code is publicly available at https://github.com/jumxglhf/ParetoGNN.

연구 동기 및 목표

• 기존 자기지도 학습 그래프 신경망이 일반적으로 단일 학습 철학에 의존하여 다양한 후행 태스크에서 성능이 열등한 점을 해결하기 위해.
• 다른 기초 철학을 가진 다수의 자기지도 사전 과제를 결합하면 다수의 그래프 학습 태스크에서 일반화 성능이 향상되는지 조사하기 위해.
• 유도적 편향(예: 그래프 동질성)에 의존하지 않고도 모든 사전 과제에서 능동적으로 학습하면서 갈등을 최소화하는 방법을 개발하기 위해.
• 다양한 철학에서 유래한 상호 보완적인 지식이 다중 태스크 및 단일 태스크 성능을 모두 향상시킬 수 있음을 입증하기 위해.

제안 방법

• ParetoGNN는 각각 다른 학습 철학(예: 상호 정보 최대화, 특성 재구성, 화이트닝)에 기반한 다수의 자기지도 사전 과제를 동시에 최적화하기 위해 단일 그래프 인코더를 사용한다.
• 다양한 사전 과제에서 온 기울기의 가중치를 동적으로 할당하기 위해 다중 기울기 하강 알고리즘을 사용하여 파레토 최적성과 갈등하는 목표 간 균형을 이루도록 한다.
• 학습 중에 의사동질성 또는 태스크별 유도적 편향을 강제하지 않음으로써 동질성 가정에 의존하지 않는다.
• 모든 사전 과제의 기울기를 파레토 제약 최적화 과정을 통해 균형 잡힌 공동 손실로 종합적으로 끝에서 끝까지 훈련한다.
• 노드 분류, 노드 클러스터링, 링크 예측, 분할 예측의 네 가지 후행 태스크에서 11개의 널리 사용되는 벤치마크 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 다양한 학습 철학을 가진 다수의 자기지도 사전 과제를 결합하면 다수의 후행 그래프 학습 태스크에서 일반화 성능이 향상되는가?
• RQ2 동질성 가정을 피하는 다중 태스크 자기지도 학습 프레임워크는 이질적 그래프에서도 여전히 뛰어난 성능을 내는가?
• RQ3 파레토 최적화된 다중 기울기 접근법은 어떤 단일 태스크 성능도 희생시키지 않고 서로 갈등하는 사전 과제의 목표를 효과적으로 조율할 수 있는가?
• RQ4 다양한 보완적인 철학에서 학습하면 다중 태스크 일반화뿐 아니라 단일 태스크 성능 향상에도 기여하는가?

주요 결과

• ParetoGNN는 모든 11개의 벤치마크 데이터셋에서 최고의 종합 성능을 달성하였으며, 평균 성능 순위에서 7개의 최신 기술(SOTA) 기반 SSL GNN보다 2.5점 향상되었다.
• 모델 용량이 낮은 경우(예: 128 또는 256차원)에도 BGRL과 같은 단일 태스크 SSL 기반 베이스라인보다 더 강력한 일반화 성능를 보이며, 모델 용량에 대한 민감도가 낮음을 시사한다.
• 성능 향상은 다중 태스크 일반화뿐 아니라 개별 후행 태스크에서도 관찰되었으며, 다양한 철학에서 유래한 보완적 지식이 학습을 향상시킴을 확인한다.
• 실험 결과, 이전 방법인 AutoSSL에서 일부 사전 과제(예: DGI)가 0으로 가중치가 설정되어 무시된 경우 일반화 성능이 저하됨을 보여주었으며, ParetoGNN는 모든 과제에서 능동적으로 학습함으로써 이를 방지한다.
• 노드 특징이 정보가 적은 경우에도 강력한 성능 유지를 보였으며, 특성 재구성 기반 방법인 GraphMAE보다 정보가 적은 환경에서 뛰어난 성능을 보였다.