[논문 리뷰] Automated Self-Supervised Learning for Graphs

Wei Jin, Xiaorui Liu외 4명|arXiv (Cornell University)|2021. 06. 10.

Advanced Graph Neural Networks참고 문헌 59인용 수 21

한 줄 요약

이 논문은 그래프에서 자기지도 학습(SSL) 작업의 최적 조합을 탐색하기 위한 자동화된 프레임워크인 AutoSSL을 제안한다. 이는 하향 성능을 위한 비지도 대체 측정법으로 가짜 동질성( pseudo-homophily ) 측정법을 사용한다. 동질성 원리—즉, 연결된 노드가 레이블을 공유하는 경향이 있음—을 활용하여, DGI, Pairsim, PairDis 등의 다수의 SSL 작업을 동적으로 가중하여 노드 표현 학습을 향상시키며, 8개의 실세계 데이터셋에서 노드 클러스터링 및 분류 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph self-supervised learning has gained increasing attention due to its capacity to learn expressive node representations. Many pretext tasks, or loss functions have been designed from distinct perspectives. However, we observe that different pretext tasks affect downstream tasks differently cross datasets, which suggests that searching pretext tasks is crucial for graph self-supervised learning. Different from existing works focusing on designing single pretext tasks, this work aims to investigate how to automatically leverage multiple pretext tasks effectively. Nevertheless, evaluating representations derived from multiple pretext tasks without direct access to ground truth labels makes this problem challenging. To address this obstacle, we make use of a key principle of many real-world graphs, i.e., homophily, or the principle that "like attracts like," as the guidance to effectively search various self-supervised pretext tasks. We provide theoretical understanding and empirical evidence to justify the flexibility of homophily in this search task. Then we propose the AutoSSL framework which can automatically search over combinations of various self-supervised tasks. By evaluating the framework on 7 real-world datasets, our experimental results show that AutoSSL can significantly boost the performance on downstream tasks including node clustering and node classification compared with training under individual tasks. Code is released at https://github.com/ChandlerBang/AutoSSL.

연구 동기 및 목표

• 그래프 표현 학습을 위한 최적의 자기지도 학습(SSL) 작업을 선택하는 문제에 대응하기 위해, 개별 작업이 데이터셋과 하향 과제 간에 성능이 다양하게 나타나는 점을 고려한다.
• 학습 중에 진정한 레이블이 없기 때문에 이를 보완하기 위해, 하향 성능을 위한 비지도 대체 측정법으로서의 가짜 동질성 측정법을 도입한다.
• 다양한 SSL 작업의 조합을 효율적으로 탐색하여 표현 품질을 공동으로 최적화하는 자동화된 프레임워크를 개발한다.
• 가짜 동질성이 높을수록 하향 성능이 향상됨을 경험적으로 검증함으로써, 이를 탐색 목표로 사용할 수 있음을 정당화한다.

제안 방법

• 진짜 레이블에 접근할 수 없더라도, 동질성 원리에 기반하여 예측된 노드 레이블(임bedding에서 유도됨)과 진짜 레이블 간의 일치도를 추정하는 가짜 동질성 측정법을 제안한다.
• 가짜 동질성 점수를 다중 작업 SSL에서 최적의 작업 가중치를 찾는 데 사용되는 대체 목표로 활용하며, 이는 진짜 레이블과의 상호정보량의 상한선을 개선한다는 이론적 근거를 제공한다.
• 고차원적인 SSL 작업 조합 공간을 효율적으로 탐색하기 위해 두 가지 탐색 알고리즘인 AutoSSL-es(진화 전략)과 AutoSSL-ds(기울기 기반 최적화)를 개발한다.
• AutoSSL-ds에서는 기울기 기반 최적화 과정을 활용하고, AutoSSL-es에서는 인구 기반 진화 전략을 사용하여 반복적으로 작업 가중치를 개선한다.
• DGI, Pairsim, PairDis, Clu, Par와 같은 다수의 SSL 작업을 통합하며, 각 작업은 서로 다른 인덕티브 바이어스(예: 국소적 vs. 전역적 구조)를 반영한다.
• 가중된 SSL 목표의 조합을 사용해 GNN을 훈련하고, 이를 통해 유도된 임베딩을 하향 과제인 노드 클러스터링 및 분류 과제에서 평가한다.

실험 결과

연구 질문

• RQ1 다양한 그래프 데이터셋과 하향 과제에서 다양한 자기지도 학습(SSL) 작업의 성능는 어떻게 다른가?
• RQ2 레이블이 없을 경우, 가짜 동질성이 학습된 노드 표현의 품질 평가를 위한 신뢰할 수 있는 비지도 대체 측정법이 될 수 있는가?
• RQ3 개별 작업을 사용하는 것과 비교해, 자동화된 프레임워크가 다수의 SSL 작업을 탐색하여 하향 성능을 향상시킬 수 있는가?
• RQ4 다양한 유형의 그래프(예: 인용 네트워크 vs. 공동 구매 네트워크)에서 다양한 SSL 작업의 최적 가중치는 어떻게 달라지는가?

주요 결과

• AutoSSL은 8개의 실세계 데이터셋에서 개별 SSL 작업을 사용해 훈련하는 것과 비교해, 노드 클러스터링 및 분류 과제에서 하향 성능을 크게 향상시킨다.
• 가짜 동질성 측정법은 하향 성능과 강한 상관관계를 보이며, 가짜 동질성 점수가 높은 임베딩은 더 높은 클러스터링(NMI) 및 분류(ACC) 정확도를 달성한다.
• 인용 네트워크 및 공동 저자 네트워크(예: CoraFull, Physics, CS)에서는 DGI와 Par가 일관되게 높은 가중치를 받으며, 이는 전역적 및 국소적 구조 패턴을 포착하는 데 중요함을 시사한다.
• 공동 구매 네트워크(예: Photo, Computers)에서는 Par와 DGI가 모두 중요하지만, Par의 가중치가 더 높게 설정되며, 이는 이러한 그래프에서 국소적 구조가 더 중요함을 시사한다.
• Clu는 모든 데이터셋에서 매우 낮은 가중치를 지속적으로 받으며, 이는 원시 특징에서 유도된 가짜 레이블이 선택된 설정에서는 열악한 지도 신호임을 시사한다.
• AutoSSL에서 작업 가중치의 변화는 안정적이고 데이터셋에 특화된 구성으로 수렴하며, AutoSSL-es와 AutoSSL-ds 모두 높은 가짜 동질성 점수와 하향 정확도를 달성한다.