[논문 리뷰] Transfer Learning of Graph Neural Networks with Ego-graph Information Maximization

Qi Zhu, Carl Yang외 4명|arXiv (Cornell University)|2020. 09. 10.

Advanced Graph Neural Networks인용 수 37

한 줄 요약

본 논문은 k- hop 에고 그래프 구조를 모델링하고 매칭하여 그래프 간 GNN을 전이하기 위한 Ego-Graph Information Maximization (Egi)을 제안하고, 국소 그래프 래플라시안에 기반한 이론적 전이 보장을 제공하며, 합성 및 실제 데이터셋에서의 실증 검증을 제시한다.

ABSTRACT

Graph neural networks (GNNs) have achieved superior performance in various applications, but training dedicated GNNs can be costly for large-scale graphs. Some recent work started to study the pre-training of GNNs. However, none of them provide theoretical insights into the design of their frameworks, or clear requirements and guarantees towards their transferability. In this work, we establish a theoretically grounded and practically useful framework for the transfer learning of GNNs. Firstly, we propose a novel view towards the essential graph information and advocate the capturing of it as the goal of transferable GNN training, which motivates the design of EGI (Ego-Graph Information maximization) to analytically achieve this goal. Secondly, when node features are structure-relevant, we conduct an analysis of EGI transferability regarding the difference between the local graph Laplacians of the source and target graphs. We conduct controlled synthetic experiments to directly justify our theoretical conclusions. Comprehensive experiments on two real-world network datasets show consistent results in the analyzed setting of direct-transfering, while those on large-scale knowledge graphs show promising results in the more practical setting of transfering with fine-tuning.

연구 동기 및 목표

• 다른 그래프 간 GNN을 전이하기 위한 이론적으로 근거 있는 프레임워크를 제안한다 (직접 전이).
• 에고-그래프 구조와 노드 임베딩 간의 상호 정보를 최대화하여 중요한 그래프 정보를 포착하기 위해 Egi를 도입한다.
• 국소 그래프 래플라시안에 의해 구조를 존중하는 노드 특징 하에서의 전이성을 분석한다.
• 합성 실험과 실제 데이터 집합으로 이론을 검증하여 기준선 대비 전이 성능이 향상됨을 보인다.

제안 방법

• 그래프를 k- hop 에고-그래프와 노드 특징의 공동 분포에서 샘플로 표현하여 그래프 정보와 유사도를 정의한다.
• Ego-Graph Information Maximization (Egi)를 BFS-정렬된 모서리에 대한 판별기를 사용하여 에고-그래프와 GNN 출력 간의 상호 정보를 최대화하는 것으로 정의한다.
• 중심 노드 인코더 Psi와 이웃 노드 인코더 Phi의 두 개의 GNN 인코더를 사용하고, 실제 에고-그래프-엣지 쌍과 비(非) 사실 쌍을 구분하는 공동 스코어링 함수를 도입한다.
• 에고-그래프 재구성 손실의 상한으로서의 Egi의 이중 해석을 제공하고, VGAE 및 기타 MI 기반 GNN 방법과의 연결을 제시하되 노드 특징보다 구조에 중점을 둔다.
• 전이 가능성 분석(Theorem 3.1)을 제시하여 성능 차이가 에고-그래프 래플라시안 차이 항 Δ_D(G_a,G_b)로 한정됨을 보인다.
• 직접 전이(대상 라벨 없이)와 미세 조정이 있는 전이 학습과 같은 실용적 사용 사례를 설명한다.

실험 결과

연구 질문

• RQ1 소스 그래프 G_a에서 학습된 GNN이 미세 조정 없이 대상 그래프 G_b로 효과적으로 전이될 수 있는 조건은 무엇인가?
• RQ2 로컬 에고-그래프 래플라시안으로 정량화된 그래프 간의 구조적 차이가 Egi 목적 함수와 함께 GNN의 전이성에 어떻게 영향을 미치는가?
• RQ3 구조를 존중하는 노드 특징이 전이성에 필수적인가, 그리고 그것들이 그래프 간 Egi의 성능에 어떤 영향을 미치는가?
• RQ4 직접 전이 및 소수 샷 전이 시나리오에서 Egi가 기존의 자체 감독(Self-supervised) 및 사전 학습(GNN) 방법과 어떻게 비교되는가?
• RQ5 Egi 간격 Δ_D(G_a,G_b)을 기반으로 전이를 위한 소스 그래프를 사전에 판단하거나 미리 선택할 수 있는가?

주요 결과

• Egi는 구조와 관련된 전이 가능 특징(예: 노드 차수 원-핫)을 사용하는 경우 유사한 그래프와 이질적인 그래프 모두에서 직접 전이 역할 식별에서 기준선보다 우수하다.
• 전이 가능한 특징이 아닌 특징을 사용하면 전이 가능성이 크게 손상되며, 구조를 존중하는 노드 특징의 필요성을 강조한다.
• Egi의 전이 가능성은 국소 에고-그래프 래플라시안으로 계산된 Δ_D(G_a,G_b)와 상관관계가 있으며, Theorem 3.1의 이론적 경계 값을 검증한다.
• Airport 데이터 세트에서 Egi는 유럽, 미국, 브라질 네트워크 전반에서 최상위 또는 경쟁력 있는 성능을 달성하며, 종종 기준선 대비 통계적으로 유의미한 향상을 보인다.
• Gene 데이터 세트에서 Egi는 Δ_D 값이 작을 때 음수에서 양의 전이 패턴을 보이며, 구조적 유사성과 전이 이득 간의 관계를 뒷받침한다.
• 합성 실험에서 Δ_D(F,F)은 Δ_D(B,F)보다 작고, 소스 그래프와 대상 그래프가 더 비슷할수록 Egi가 더 큰 전이 이득을 추적한다.