[논문 리뷰] Decoupling Weighing and Selecting for Integrating Multiple Graph Pre-training Tasks

Tianyu Fan, Lirong Wu외 5명|ArXiv.org|2024. 03. 03.

Multi-Criteria Decision MakingDecision Sciences인용 수 3

한 줄 요약

이 논문은 여러 그래프 사전학습 작업을 통합하기 위해 작업 선택과 가중치 부여를 분리하는 인스턴스 수준 프레임워크인 WAS(Weigh and Select)를 제안한다. 분리된 시아모닉 네트워크를 사용함으로써 WAS는 최적의 작업 조합과 인스턴스별 가중치를 적응적으로 학습하며, 작업 풀이 확장됨에 따라 일관된 성능 향상을 보이며 16개의 그래프 데이터셋에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Recent years have witnessed the great success of graph pre-training for graph representation learning. With hundreds of graph pre-training tasks proposed, integrating knowledge acquired from multiple pre-training tasks has become a popular research topic. In this paper, we identify two important collaborative processes for this topic: (1) select: how to select an optimal task combination from a given task pool based on their compatibility, and (2) weigh: how to weigh the selected tasks based on their importance. While there currently has been a lot of work focused on weighing, comparatively little effort has been devoted to selecting. This paper proposes a novel instance-level framework for integrating multiple graph pre-training tasks, Weigh And Select (WAS), where the two collaborative processes, weighing and selecting, are combined by decoupled siamese networks. Specifically, it first adaptively learns an optimal combination of tasks for each instance from a given task pool, based on which a customized instance-level task weighing strategy is learned. Extensive experiments on 16 graph datasets across node-level and graph-level downstream tasks have demonstrated that by combining a few simple but classical tasks, WAS can achieve comparable performance to other leading counterparts. The code is available at https://github.com/TianyuFan0504/WAS.

연구 동기 및 목표

• 기존 방법이 작업 가중치 부여에만 집중하면서 작업 간 호환성과 선택을 간과하는 데서 발생하는 격차를 해결한다.
• 다중 작업 그래프 사전학습에서 작업 선택(호환성)과 작업 가중치 부여(중요도)를 분리하는 것이 필요한지 탐구한다.
• 하위 작업에 맞게 작업 선택과 가중치 부여를 맞춤형으로 조정하는 통합 프레임워크를 개발하여 표현 학습을 향상시킨다.
• 노드 수준 및 그래프 수준의 하위 작업, 특히 미처 다루지 않은 그래프 수준 벤치마크에서도 제안된 방법의 효과성을 입증한다.
• 기존 방법이 정점에 도달하거나 성능이 저하되는 것과 달리, 작업 풀이 커질수록 성능 향상이 일관되게 유지됨을 보여준다.

제안 방법

• 작업 선택과 작업 가중치 부여 과정을 별도로 모델링하기 위해 분리된 시아모닉 네트워크 아키텍처를 제안한다.
• 학습 가능한 투영(MLP)을 갖춘 선택 헤드를 사용하여 인스턴스별 작업 조합 확률을 생성한다.
• 인스턴스 수준의 작업 중요도 가중치를 예측하기 위해 가중치 헤드를 사용하며, 재가중 처리를 통해 합이 1이 되도록 보장한다.
• 그래프 표현에 대해 대조 학습 목표를 사용하여 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 기존의 여러 고전적 사전학습 작업(예: AttrMask, ContextPred, EdgePred, GraphCL)을 통합적이고 적응적으로 통합한다.
• 사전학습 단계에서 프레임워크를 적용하여 인스턴스 인식형 동적 작업 조합 및 가중치 부여를 가능하게 한다.

실험 결과

연구 질문

• RQ1 작업 선택과 가중치 부여를 분리함으로써 다중 작업 그래프 사전학습에서 성능 향상을 이룰 수 있는가?
• RQ2 여러 사전학습 작업을 조합할 때 작업 간 호환성이 성능에 미치는 영향은 무엇이며, 이를 효과적으로 모델링할 수 있는가?
• RQ3 인스턴스 수준에서 작업 선택과 가중치 부여를 맞춤형으로 조정하는 것이 전역적 또는 고정 전략보다 더 나은 하위 작업 성능을 이끌 수 있는가?
• RQ4 사전학습 작업 풀의 수가 증가함에 따라 이 방법의 성능은 어떻게 변화하는가?
• RQ5 높은 성능를 달성하는 데 있어 선택과 가중치 부여 중 어느 측면이 더 기여하는가?

주요 결과

• WAS는 16개의 그래프 데이터셋에서 최신 기준 성능(SOTA)을 달성했으며, BACE에서 평균 ROC-AUC가 80.7%로 모든 베이스라인을 초월한다.
• 작업 풀이 커질수록 성능 향상이 일관되게 유지되며, WAS는 10개 이상의 작업에서도 성능 향상을 보였지만, AGSSL은 정점에 도달한다.
• 절단 실험 결과 중요도 기반 선택이 랜덤 선택보다 성능이 열 劣함을 확인하여 호환성 문제를 별도로 다뤄야 한다는 것을 입증한다.
• 선택 모듈의 투영 헤드(MLP)를 제거하면 성능이 떨어지며, 이는 선택과 가중치 부여를 분리하는 데서 그 역할이 중요함을 시사한다.
• 선택 이후 재가중 처리가 필수적이다. 이를 생략할 경우 가중치 합이 정규화되지 않아 성능 저하가 발생한다.
• 시각화 결과 다양한 인스턴스들이 서로 다른 작업 조합(예: IG, AM, GraphLoG)을 선택하는 것으로 나타나, 모델이 인스턴스별 전략을 학습할 수 있음을 확인한다.