[논문 리뷰] Tree Structure-Aware Graph Representation Learning via Integrated Hierarchical Aggregation and Relational Metric Learning

Ziyue Qiao, Pengyang Wang외 4명|arXiv (Cornell University)|2020. 08. 23.

Advanced Graph Neural Networks참고 문헌 42인용 수 4

한 줄 요약

이 논문은 이질적 그래프에서 계층적 트리 구조와 노드 유형 이질성을 동시에 유지하기 위해 다중 홉 이웃 집합화를 위한 게이트드 순환 단위를 통합하고 관계 기반 거리 측정 학습을 통해 서로 다른 노드 유형을 별개의 특징 공간에 임베딩하는 T-GNN이라는 새로운 그래프 신경망을 제안한다. 이 방법은 노드 분류, 클러스터링, 링크 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

While Graph Neural Network (GNN) has shown superiority in learning node representations of homogeneous graphs, leveraging GNN on heterogeneous graphs remains a challenging problem. The dominating reason is that GNN learns node representations by aggregating neighbors' information regardless of node types. Some work is proposed to alleviate such issue by exploiting relations or meta-path to sample neighbors with distinct categories, then use attention mechanism to learn different importance for different categories. However, one limitation is that the learned representations for different types of nodes should own different feature spaces, while all the above work still project node representations into one feature space. Moreover, after exploring massive heterogeneous graphs, we identify a fact that multiple nodes with the same type always connect to a node with another type, which reveals the many-to-one schema, a.k.a. the hierarchical tree structure. But all the above work cannot preserve such tree structure, since the exact multi-hop path correlation from neighbors to the target node would be erased through aggregation. Therefore, to overcome the limitations of the literature, we propose T-GNN, a tree structure-aware graph neural network model for graph representation learning. Specifically, the proposed T-GNN consists of two modules: (1) the integrated hierarchical aggregation module and (2) the relational metric learning module. The integrated hierarchical aggregation module aims to preserve the tree structure by combining GNN with Gated Recurrent Unit to integrate the hierarchical and sequential neighborhood information on the tree structure to node representations. The relational metric learning module aims to preserve the heterogeneity by embedding each type of nodes into a type-specific space with distinct distribution based on similarity metrics.

연구 동기 및 목표

• 이질적 그래프에서 흔히 나타나는 다중 홉 계층적 트리 구조를 효과적으로 유지하지 못하는 기존 GNN의 한계를 해결하기 위해.
• 다른 노드 유형 간에 공유되는 특징 공간으로 인해 효과적인 표현 학습이 방해되는 문제를 극복하기 위해.
• 다수의 논문이 한 명의 저자와 연결되는 것과 같은 다대일 스키마(예: 여러 논문이 한 명의 저자와 연결됨)를 더 풍부한 구조적 인덕티브 바이어스를 가진 트리 구조적 이웃으로 모델링하기 위해.
• 이질적 그래프에서 분류, 클러스터링, 링크 예측과 같은 후속 작업을 위한 노드 표현 품질을 향상시키기 위해.

제안 방법

• 다중 홉 경로를 따라 순차적이고 계층적인 이웃 정보를 유지하기 위해 게이트드 순환 단위(GRUs)를 그래프 컨볼루션 집합화와 통합한다.
• 트리 구조적 이웃 내에서 이웃 노드의 순서와 깊이를 모두 포착하는 통합 계층적 집합화 모듈을 설계한다.
• 각 노드 유형을 고유한 특징 공간에 임베딩하고, 별개의 분포 및 유사도 측정 기준을 갖는 관계 기반 거리 측정 학습 모듈을 제안한다.
• 관계별로 특별히 정의된 거리 측정 공간을 사용하여 노드 유사도를 계산함으로써 표현 학습 과정에서 서로 다른 노드 유형 간 간섭을 줄인다.
• 계층적 집합화와 거리 측정 학습을 종합적으로 통합하여 종단 간 학습이 가능한 프레임워크를 구성함으로써, 구조적 특성과 이질성 인식 표현을 동시에 최적화한다.
• 목표 노드의 각 다중 홉 이웃을 트리 구조적 이웃으로 정의하기 위해 메타패스 유사 이웃 샘플링을 활용한다.

실험 결과

연구 질문

• RQ1 이질적 그래프의 다중 홉 이웃에서 내재된 계층적 트리 구조를 효과적으로 유지할 수 있는가?
• RQ2 공유 특징 공간이 아닌 유형별 고유 특징 공간에 각 노드 유형을 임베딩하면, 표현 품질이 향상되는가?
• RQ3 계층적 집합화와 관계 기반 거리 측정 학습을 함께 최적화하면 노드 수준의 그래프 학습 작업에서 성능 향상이 이루어지는가?
• RQ4 기존 GNN과 비교해 T-GNN은 이질적 그래프에서 장거리 의존성과 구조적 이질성을 다루는 데 얼마나 효과적인가?

주요 결과

• T-GNN은 GAT, HAN, RGCN와 같은 기존 방법들을 능가하며, 여러 이질적 그래프 벤치마크에서 노드 분류 및 클러스터링 작업에서 최신 기술 수준의 성능을 달성한다.
• 모델은 링크 예측 성능을 크게 향상시켜 이질적 그래프에서 복잡한 구조 패턴을 효과적으로 포착할 수 있음을 입증한다.
• 제거 실험 결과, 계층적 집합화 모듈과 관계 기반 거리 측정 학습 모듈이 성능 향상에 독립적으로 기여함과 동시에 상호 보완적으로 작용하는 것으로 확인되었다.
• 시각화 결과, 동일한 유형의 노드들이 높은 내부 유사도와 상호 분리도를 가지며 고유하고 잘 분리된 공간에 임베딩된 것으로 나타났다.
• 학습된 표현이 종이-저자-조직 트리와 같은 이웃의 계층적 구조를 효과적으로 유지하고 있음을 확인하여, 다중 홉 경로 상관관계를 잘 보존하고 있음을 입증했다.