[논문 리뷰] Pre-training Graph Neural Networks with Kernels

Nicolò Navarin, Tran Van Dinh외 1명|arXiv (Cornell University)|2018. 11. 16.

Advanced Graph Neural Networks참고 문헌 25인용 수 18

한 줄 요약

이 논문은 Weisfeiler-Lehman (WL) 커널과 같은 최신 그래프 커널과 정렬된 표현을 학습하는 시아모이즈 네트워크를 사용하여, 작업에 종속되지 않는 그래프 신경망(GNN)을 위한 사전 훈련 방법을 제안한다. 이 방법은 커널 유도 표현 학습을 통해 GNN 성능을 향상시키며, MUTAG에서 3.27%의 정확도 향상과 PTC에서 2.69%의 향상을 기록하여 다양한 그래프 벤치마크 데이터셋에서 일관된 성능 향상을 이룬다.

ABSTRACT

Many machine learning techniques have been proposed in the last few years to process data represented in graph-structured form. Graphs can be used to model several scenarios, from molecules and materials to RNA secondary structures. Several kernel functions have been defined on graphs that coupled with kernelized learning algorithms, have shown state-of-the-art performances on many tasks. Recently, several definitions of Neural Networks for Graph (GNNs) have been proposed, but their accuracy is not yet satisfying. In this paper, we propose a task-independent pre-training methodology that allows a GNN to learn the representation induced by state-of-the-art graph kernels. Then, the supervised learning phase will fine-tune this representation for the task at hand. The proposed technique is agnostic on the adopted GNN architecture and kernel function, and shows consistent improvements in the predictive performance of GNNs in our preliminary experimental results.

연구 동기 및 목표

• 그래프 커널 방법의 발전에도 불구하고 GNN의 그래프 분류 성능이 제한되어 있는 문제를 해결하기 위해.
• 기존의 그래프 커널의 인도크티브 바이어스를 활용하여 GNN의 일반화 성능을 향상시키는 사전 훈련 기법을 개발하기 위해.
• 사전 훈련 단계에서 레이블이 없는 그래프 데이터로부터 커널 유도 표현을 학습하여, 이후 레이블이 있는 데이터로의 피니튜닝 단계에서 GNN이 이점을 얻을 수 있도록 하기 위해.
• 모든 GNN과 그래프 커널에 적용 가능한 커널에 종속되지 않고 아키텍처에 종속되지 않는 사전 훈련 프레임워크를 구축하기 위해.

제안 방법

• 고정된 그래프 커널(예: WL, PK, RW)을 타겟으로 하여, 그래프 쌍 간의 커널 유사도를 예측하는 시아모이즈 GNN 아키텍처를 훈련한다.
• 사전 훈련 중에 예측값과 진짜 커널 값 간의 차이를 최소화하기 위해 평균 제곱오차 손실을 사용한다.
• 하류 분류 작업에서의 피니튜닝 전에 학습된 시아모이즈 네트워크 가중치로 GNN을 초기화한다.
• 이중 단계 훈련 파이프라인을 사용한다: 레이블이 없는 그래프에서의 비지도 사전 훈련 → 레이블이 있는 데이터에서의 지도 피니튜닝.
• 1D 컨벌루션과 밀집층에는 ReLU 활성화 함수를, 그래프 컨벌루션에는 tanh를 사용하는 DGCNN을 기본 GNN 아키텍처로 사용한다.
• 사전 훈련에는 Adam 옵timizer와 평균 제곱오차 손실을, 피니튜닝에는 음의 로그 우도 손실을 사용한다.

실험 결과

연구 질문

• RQ1 그래프 커널을 근사하는 시아모이즈 네트워크를 사용해 GNN을 사전 훈련하면 하류 분류 성능이 향상되는가?
• RQ2 커널 유도 표현 학습은 다양한 GNN 아키텍처와 그래프 데이터셋 간에 일반화되는가?
• RQ3 최적의 커널이 아닌 커널(예: PTC에서 h=2인 WL)을 사용해 사전 훈련하면 무작위 초기화 대비 GNN 성능에 어떤 영향을 미치는가?
• RQ4 대규모 데이터셋인 NCI1에서 그래프 커널과 GNN 간의 성능 격차를 사전 훈련으로 메울 수 있는가?

주요 결과

• 사전 훈련된 DGCNN은 MUTAG에서 88.10% ± 1.05의 정확도를 기록하여 표준 DGCNN(85.83% ± 1.66)보다 2.27%p 높게 성능을 냈다.
• PTC에서는 사전 훈련된 모델이 61.03% ± 2.86의 정확도를 기록하여 DGCNN의 58.59%보다 2.44%p 향상되었다.
• NCI1에서는 사전 훈련된 DGCNN이 77.13% ± 0.45의 정확도를 기록하여 DGCNN의 74.44%를 능가했지만, 여전히 WL 커널의 84.46%에 못 미쳤다.
• 사전 훈련에 사용된 커널(WL with h=2)이 최고 성능을 내는 커널(예: PTC에서의 PK)이 아니더라도, 무작위 초기화 대비 여전히 성능 향상을 이룬다.
• 사전 훈련 단계는 제한된 에포크 수(예: NCI1의 경우 2회)에서도 효과적이었으며, 훈련 시간 제약 조건에 대해 강건함을 보였다.
• 단일 커널로의 사전 훈련이 유익함을 시사하지만, 다수의 커널을 사용할 경우 커널 전용 성능에 더 가까워질 수 있음이 확인되었다.