[논문 리뷰] Heterogeneous Graph Transformer

Ziniu Hu, Yuxiao Dong외 2명|arXiv (Cornell University)|2020. 03. 03.

Advanced Graph Neural Networks참고 문헌 28인용 수 30

한 줄 요약

Heterogeneous Graph Transformer (HGT) introduces meta relation-aware attention, heterogeneous message passing, and relative temporal encoding to model Web-scale heterogeneous graphs, enabling training on Open Academic Graph and outperforming baselines by 9%–21%.

ABSTRACT

Recent years have witnessed the emerging success of graph neural networks (GNNs) for modeling structured data. However, most GNNs are designed for homogeneous graphs, in which all nodes and edges belong to the same types, making them infeasible to represent heterogeneous structures. In this paper, we present the Heterogeneous Graph Transformer (HGT) architecture for modeling Web-scale heterogeneous graphs. To model heterogeneity, we design node- and edge-type dependent parameters to characterize the heterogeneous attention over each edge, empowering HGT to maintain dedicated representations for different types of nodes and edges. To handle dynamic heterogeneous graphs, we introduce the relative temporal encoding technique into HGT, which is able to capture the dynamic structural dependency with arbitrary durations. To handle Web-scale graph data, we design the heterogeneous mini-batch graph sampling algorithm---HGSampling---for efficient and scalable training. Extensive experiments on the Open Academic Graph of 179 million nodes and 2 billion edges show that the proposed HGT model consistently outperforms all the state-of-the-art GNN baselines by 9%--21% on various downstream tasks.

연구 동기 및 목표

• 메타 관계를 사용하여 노드 유형과 에지 유형에 의존하는 표현을 설계함으로써 이질성을 포착한다.
• 상대적 시간 인코딩 메커니즘으로 동적 그래프를 모형화한다.
• 특화된 서브그래프 샘플링 방법을 통해 웹 규모 이질 그래프에서의 확장 가능한 학습을 가능하게 한다.
• Open Academic Graph 및 도메인-특정 이질 그래프에서 효율성을 입증한다.

제안 방법

• 트리플 파라미터 ⟨τ(s), φ(e), τ(t)⟩를 사용하여 주의 헤드를 계산하는 메타 관계 인지 이질적 상호 주의(attention)를 제안한다.
• 관계 인지 선형 투영과 간선별 변환 행렬을 갖춘 이질적 메시지 전달을 설계한다.
• 잔차 연결과 유형별 선형 매핑을 적용하여 H^(l)[t]를 생성하는 타깃-특정 집계를 수행한다.
• 사인파 기반의 고정적 사인 및 학습된 투영을 사용하여 ΔT(t,s)를 노드 표현에 주입하는 상대 시간 인코딩(RTE)을 도입한다.
• 타입별 노드 예산을 갖춘 웹 규모 학습을 위한 밀집하고 균형 잡힌 이질적 서브그래프를 생성하는 HGSampling을 개발한다.
• 이벤트 연결 노드에서 상속하여 일반 노드에 타임스탬프를 부착하는 유도형 타임스탬프 할당을 제공한다.

실험 결과

연구 질문

• RQ1 다른 노드/에지 분포를 가진 이질 그래프를 효과적으로 모델링하면서 교차 유형 간 상호 작용을 가능하게 하려면?
• RQ2 변환기(Transformer)에서 영감을 받은 주의 메커니즘이 메타 관계 트리플렛을 통해 관계를 매개변수화하여 표현 품질을 향상시킬 수 있는가?
• RQ3 별도의 시간 분할 그래프를 구성하지 않고 이질 그래프에 시간적 동역학을 어떻게 도입할 수 있는가?
• RQ4 타입 불균형이나 정보 손실 없이 웹 규모 이질 그래프에서 확장 가능한 학습을 가능하게 하는 샘플링 전략은 무엇인가?
• RQ5 제안된 방법들이 OAG(Open Academic Graph)과 같은 대규모 이질 그래프의 다운스트림 작업을 향상시키는가?

주요 결과

• HGT는 다운스트림 작업에서 최첨단 GNN 기준선보다 일관되게 9%–21% 향상된다.
• 179 million 노드와 2 billion 엣지를 가진 Open Academic Graph를 사용하여 확장성과 효과를 입증했다.
• HGSampling은 웹 규모 이질 그래프에서의 학습을 가능하게 하는 균형 잡히고 조밀한 서브그래프를 생성한다.
• RTE는 임의의 지속 기간과 보지 못한 타임스탬프를 가진 동적 구조적 의존성을 모델링할 수 있게 한다.
• 메타 관계 기반 매개변수화는 공유를 가능하게 하면서 유형별 패턴을 보존하여 일반화 성능을 향상시킨다.
• 사례 연구는 HGT가 작업을 위해 중요한 암묵적 메타 경로를 자동으로 추론할 수 있음을 보여준다.