[논문 리뷰] Inductive Representation Learning on Temporal Graphs

Da Xu, Chuanwei Ruan외 3명|arXiv (Cornell University)|2020. 02. 19.

Advanced Graph Neural Networks참고 문헌 32인용 수 32

한 줄 요약

TGAT를 도입한 시간 의 그래프 주의 네트워크로, Bochner의 정리에 기반한 함수적 시간 인코딩을 사용하여 진화하는 그래프의 inductive 작업에 대한 시간 인식 노드 임베딩 생성.

ABSTRACT

Inductive representation learning on temporal graphs is an important step toward salable machine learning on real-world dynamic networks. The evolving nature of temporal dynamic graphs requires handling new nodes as well as capturing temporal patterns. The node embeddings, which are now functions of time, should represent both the static node features and the evolving topological structures. Moreover, node and topological features can be temporal as well, whose patterns the node embeddings should also capture. We propose the temporal graph attention (TGAT) layer to efficiently aggregate temporal-topological neighborhood features as well as to learn the time-feature interactions. For TGAT, we use the self-attention mechanism as building block and develop a novel functional time encoding technique based on the classical Bochner's theorem from harmonic analysis. By stacking TGAT layers, the network recognizes the node embeddings as functions of time and is able to inductively infer embeddings for both new and observed nodes as the graph evolves. The proposed approach handles both node classification and link prediction task, and can be naturally extended to include the temporal edge features. We evaluate our method with transductive and inductive tasks under temporal settings with two benchmark and one industrial dataset. Our TGAT model compares favorably to state-of-the-art baselines as well as the previous temporal graph embedding approaches.

연구 동기 및 목표

• 진화하는 그래프에서 inductive, 시간에 민감한 임베딩의 필요성 해결.
• 노드 표현에서 시간적 패턴과 위상(context)적 맥락을 모두 포착.
• 보이지 않는 노드와 시점에서의 정확한 노드 분류와 링크 예측 가능.
• 산업 규모의 시간 그래프에 적합한 확장 가능하고 병렬화 가능한 아키텍처 제공.

제안 방법

• self-attention을 통해 시간-인접 특징을 집계하는 Temporal Graph Attention (TGAT) 계층 제안.
• 시간을 모델링하기 위해 Bochner의 정리에서 도출된 기능적 시간 인코딩으로 전통적인 위치 인코딩 대체.
• 시간 인코딩의 내적으로서의 시간 커널 K(t1,t2) 정의하고 코사인과 사인을 사용한 몬테카를로 샘플로 근사.
• 에지 특징을 메시지 패싱 방식으로 통합하도록 TGAT 확장.
• 다중 홉 시간 의존성을 포착하기 위해 TGAT 계층을 스택하고 안정성과 성능을 위해 선택적으로 멀티헤드 어텐션 사용.

실험 결과

연구 질문

• RQ1 시간 의존 그래프에서 inductive 설정으로 시간 의식 노드 임베딩을 어떻게 학습할 수 있는가?
• RQ2 기능적 시간 인코딩을 통한 자기 주의 기반 아키텍처가 inductive 및 transductive 작업 모두에서 기존의 시간 그래프 임베딩을 능가할 수 있는가?
• RQ3 시간 특징 상호 작용이 evolving 그래프에서 노드 분류 및 링크 예측에 어떤 영향을 미치는가?

주요 결과

• TGAT은 Reddit, Wikipedia, Industrial의 세 데이터셋에서 전이(transductive) 및 inductive 작업에서 강력한 성능을 달성한다.
• Bochner 기반의 기능적 시간 인코딩으로 학습된 시간 커널이 주의 메커니즘 내의 시간 특징 상호작용을 가능하게 하여 임베딩 품질을 향상시킨다.
• 다중헤드 어텐션과 시간 특징 통합을 갖춘 TGAT은 GAE, VGAE, CDTNE, GAT, GraphSAGE 변형 등 여러 베이스라인을 핵심 지표에서 능가한다.
• 단일 순전파로 미리 보지 않은 노드와 새로운 시점에 대한 귀납 추론을 제공하여 확장 가능한 배치를 가능하게 한다.