[논문 리뷰] Learning Universal Graph Neural Network Embeddings With Aid Of Transfer Learning

Saurabh Verma, Zhi-Li Zhang|arXiv (Cornell University)|2019. 09. 22.

Advanced Graph Neural Networks참고 문헌 59인용 수 10

한 줄 요약

이 논문은 비지도 사전학습과 전이학습을 통해 작업에 종속되지 않은 유니버설 그래프 임베딩을 학습하는 새로운 그래프 신경망인 DUGnn을 제안한다. 그래프 커널을 사용하는 다중 작업 그래프 디코더와 유니버설 그래프 인코더를 결합함으로써 DUGnn는 그래프 분류 벤치마크에서 기존 GNN과 그래프 커널보다 3%–8% 높은 성능을 달성한다.

ABSTRACT

Learning powerful data embeddings has become a center piece in machine learning, especially in natural language processing and computer vision domains. The crux of these embeddings is that they are pretrained on huge corpus of data in a unsupervised fashion, sometimes aided with transfer learning. However currently in the graph learning domain, embeddings learned through existing graph neural networks (GNNs) are task dependent and thus cannot be shared across different datasets. In this paper, we present a first powerful and theoretically guaranteed graph neural network that is designed to learn task-independent graph embeddings, thereafter referred to as deep universal graph embedding (DUGNN). Our DUGNN model incorporates a novel graph neural network (as a universal graph encoder) and leverages rich Graph Kernels (as a multi-task graph decoder) for both unsupervised learning and (task-specific) adaptive supervised learning. By learning task-independent graph embeddings across diverse datasets, DUGNN also reaps the benefits of transfer learning. Through extensive experiments and ablation studies, we show that the proposed DUGNN model consistently outperforms both the existing state-of-art GNN models and Graph Kernels by an increased accuracy of 3% - 8% on graph classification benchmark datasets.

연구 동기 및 목표

• 기존 GNN은 일반적으로 작업별로 훈련되며 데이터셋 간 공유가 어려운 작업에 종속되지 않은 그래프 임베딩의 부족을 해결한다.
• 변동하는 입력 차원, 제한된 모델 용량, 비지도 그래프 복원과 같은 그래프 표현 학습의 기술적 과제를 극복한다.
• 다양한 데이터셋에서 훈련된 유니버설 인코더를 통해 그래프 신경망에서 전이학습을 가능하게 하여 하류 작업에서의 일반화 및 성능 향상을 도모한다.
• 그래프 커널을 사용하는 다중 작업 디코더를 설계하여 부분 구조를 더 잘 포착하고 비지도 및 적응형 지도 학습을 모두 지원한다.
• 전이학습이 일반화 오차를 감소시킨다는 점과 연결하여 그래프 분류 작업에서 DUGnn 모델의 이론적 일반화 보장을 수립한다.

제안 방법

• 다양한 데이터셋 간에 변동하는 크기의 노드 특징 행렬을 정규화하고 표준화하기 위해 입력 변환기(Input Transformer)를 도입하여 일관된 입력 처리를 가능하게 한다.
• 다양한 데이터셋에서 비지도 사전학습을 통해 전역적이고 작업에 종속되지 않은 그래프 임베딩을 학습하는 유니버설 그래프 인코더를 개발한다.
• 자동에코더 손실($\mathcal{L}_A$), 그래프 커널 복원 손실($\mathcal{L}_{\mathcal{K}}^{(\text{unsup})}$), 지도 분류 손실($\mathcal{L}_{\text{class}}$)의 세 가지 손실 성분을 동시에 최적화하는 다중 작업 그래프 디코더를 구현한다.
• 입력 그래프의 구조적 특성을 임베딩에서 복원하기 위해 디코더에서 그래프 커널(예: Weisfeiler-Lehman, Graphlet Kernel)을 활용하여 비지도 사전학습을 가능하게 한다.
• 사전 훈련된 유니버설 인코더를 특정 하류 작업에 맞게 미세조정함으로써 전이학습을 적용하여 공유 표현 학습을 통한 성능 향상을 이룬다.
• 이론적 분석을 통해 DUGnn의 그래프 분류 작업에서의 일반화 경계를 제공하며, 전이학습이 일반화 갭을 감소시킨다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋 간 이식 가능한 작업에 종속되지 않은 유니버설 그래프 임베딩을 학습할 수 있는 그래프 신경망을 설계할 수 있는가?
• RQ2 다중 작업 디코더로서 그래프 커널을 통합함으로써 학습된 그래프 임베딩의 품질과 일반화 능력은 어떻게 향상되는가?
• RQ3 사전 훈련된 공유 유니버설 인코더를 통한 전이학습은 기존 훈련 방식과 비교해 하류 그래프 분류 작업에서 성능을 얼마나 향상시키는가?
• RQ4 다중 작업 디코더의 각 구성 요소(자동에코더, 그래프 커널, 분류 손실)가 전체 모델 성능에 기여하는 비율은 어느 정도인가?
• RQ5 전이학습과 다중 작업 디코딩을 통해 훈련된 유니버설 그래프 임베딩 모델에 대해 이론적 일반화 보장을 수립할 수 있는가?

주요 결과

• DUGnn는 NCI1, MUTAG, PTC, QM8를 포함한 표준 그래프 분류 벤치마크에서 최신 기술(SOTA) GNN과 그래프 커널보다 3%–8% 높은 정확도를 달성한다.
• QM8 데이터셋에서 유니버설 그래프 인코더만으로도 기존 MPNN, DTNN, GCNN보다 20%–30% 높은 성능을 내며, 새로운 최고의 평균 절대 오차(MAE) 11.16을 기록한다.
• 기존 훈련 방식 대비 DUGnn 사전 훈련 모델을 통한 전이학습은 정확도 저하를 0.4%–1% 감소시키며, PTC와 같이 작은 데이터셋에서는 더 큰 성능 향상을 보인다.
• 그래프 커널 손실($\mathcal{L}_{\mathcal{K}}^{(\text{unsup})}$)을 제거하면 정확도가 2%–3% 감소하고, 자동에코더 손실($\mathcal{L}_A$)을 제거하면 3%–4% 감소함으로써 다중 작업 디코더의 핵심적 역할을 입증한다.
• 지도 분류 손실($\mathcal{L}_{\text{class}}$)은 기여도가 크지만, 이 손실이 없더라도 DUGnn는 그래프 커널 방법과 경쟁 가능함을 보이며, 유니버설 인코더의 강건성을 확인한다.
• 제거 실험(ablation studies)는 다중 작업 디코더가 성능 향상에 필수적임을 확인하며, 모든 데이터셋에서 전체 DUGnn 모델이 제거된 변형보다 일관되게 뛰어난 성능을 보인다.