[논문 리뷰] Pre-Training Graph Neural Networks for Generic Structural Feature Extraction

Ziniu Hu, Changjun Fan외 3명|arXiv (Cornell University)|2019. 05. 31.

Advanced Graph Neural Networks참고 문헌 47인용 수 24

한 줄 요약

이 논문은 합성 그래프에서 세 가지 작업—노드 간 연결 복원, 중심성 점수 순위 매기기, 클러스터 유지—를 사용하여 일반적인 구조적 특징을 학습하는 자기지도 학습 사전 훈련 프레임워크를 제안한다. 다양한 합성 그래프에서의 사전 훈련은 최소한의 레이블 데이터로도 노드, 링크, 그래프 수준의 다운스트림 작업에서 성능 햖도를 크게 향상시킨다.

ABSTRACT

Graph neural networks (GNNs) are shown to be successful in modeling applications with graph structures. However, training an accurate GNN model requires a large collection of labeled data and expressive features, which might be inaccessible for some applications. To tackle this problem, we propose a pre-training framework that captures generic graph structural information that is transferable across tasks. Our framework can leverage the following three tasks: 1) denoising link reconstruction, 2) centrality score ranking, and 3) cluster preserving. The pre-training procedure can be conducted purely on the synthetic graphs, and the pre-trained GNN is then adapted for downstream applications. With the proposed pre-training procedure, the generic structural information is learned and preserved, thus the pre-trained GNN requires less amount of labeled data and fewer domain-specific features to achieve high performance on different downstream tasks. Comprehensive experiments demonstrate that our proposed framework can significantly enhance the performance of various tasks at the level of node, link, and graph.

연구 동기 및 목표

• 다양한 응용 분야에서 정확한 GNN을 훈련시키기 위한 레이블이 부족한 그래프 데이터 문제를 해결한다.
• 비용이 많이 들고 도메인에 특화된 특징에 의존하는 것을 피하기 위해 이식 가능한 구조적 표현을 학습한다.
• 실제 레이블이 있는 그래프가 필요 없이 다양한 그래프 유형에 일반화되는 사전 훈련 프레임워크를 개발한다.
• 사전 훈련된 구조적 지식을 활용하여 최소한의 레이블 데이터로 다운스트림 작업에서 효과적인 피니튜닝을 가능하게 한다.

제안 방법

• 조정 가능한 통계적 성질을 가진 도수 보정 스토하스틱 블록 모델을 사용해 생성한 합성 그래프에서 GNN을 사전 훈련한다.
• 노드 간 연결 복원, 중심성 점수 순위 매기기, 클러스터 유지의 세 가지 자기지도 학습 작업을 사용해 다층 구조적 정보를 캡처한다.
• 이러한 작업을 사용해 합성 데이터에서 끝에서 끝까지 GNN을 훈련시켜 일반적인 구조적 인덕티브 바이어스를 학습한다.
• 노드 특징이 가용할 경우 특징 병합을 통해, 하향층을 고정하거나 특정 층을 피니튜닝하는 방식으로 사전 훈련된 GNN을 다운스트림 작업에 피니튜닝한다.
• 피니튜닝 중에 학습된 구조적 임베딩과 작업별 특징을 결합하여 사전 훈련된 모델을 적응시킨다.
• 낮은 데이터 규모에서 노드 분류, 링크 예측, 그래프 분류 작업 전반에 걸쳐 성능을 평가한다.

실험 결과

연구 질문

• RQ1 GNN은 합성 그래프에서의 사전 훈련을 통해 일반적인 그래프 구조적 정보를 학습할 수 있는가?
• RQ2 제한된 레이블 데이터로 사전 훈련이 다운스트림 그래프 학습 작업의 성능을 어느 정도 향상시킬 수 있는가?
• RQ3 다양한 유형의 다운스트림 작업에 대해 어떤 사전 훈련 작업이 가장 유익한가?
• RQ4 적응 전략(예: 피니튜닝 경계)은 다운스트림 성능에 어떤 영향을 미치는가?
• RQ5 레이블 데이터가 부족할 경우 사전 훈련은 성능에 어떤 영향을 미치는가?

주요 결과

• 사전 훈련 프레임워크는 여섯 개의 노드 분류 작업에서 마이크로-F1 평균 7.7% 향상으로 다운스트림 성능을 향상시켰다.
• 강력한 노드 특징이 존재하더라도, 사전 훈련된 모델은 단순히 특징이나 무작위 초기화만 사용하는 베이스라인을 능가한다.
• 클러스터 유지 작업은 노드 분류에 가장 큰 기여를 하였고, 노드 간 연결 복원은 링크 예측에 가장 도움이 되었다.
• 그래프 분류 작업은 중심성 점수 순위 매기기와 노드 간 연결 복원 작업 덕분에 가장 큰 이점을 얻었으며, 이는 국소적 구조 패턴을 포착하는 데 기여함을 시사한다.
• 훈련 데이터가 부족할 경우 사전 훈련이 가장 큰 성능 향상을 가져왔고, 특히 10% 훈련 데이터에서 가장 두드러진 개선이 관찰되었다.
• 피니튜닝 중에 임bedding 층과 첫 번째 GNN 층을 고정하는 것이 가장 뛰어난 성능을 보였으며, 이는 초기화와 특징 추출의 가치를 확인한다.