[논문 리뷰] Graph Transformer Networks

Seongjun Yun, Minbyul Jeong외 3명|arXiv (Cornell University)|2019. 11. 06.

Advanced Graph Neural Networks인용 수 514

한 줄 요약

GTN은 이질 그래프를 여러 메타-패스 그래프로 변환하고 수동으로 정의된 메타-패스를 사용하지 않고 엔드-투-엔드 노드 분류를 수행하여 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Graph neural networks (GNNs) have been widely used in representation learning on graphs and achieved state-of-the-art performance in tasks such as node classification and link prediction. However, most existing GNNs are designed to learn node representations on the fixed and homogeneous graphs. The limitations especially become problematic when learning representations on a misspecified graph or a heterogeneous graph that consists of various types of nodes and edges. In this paper, we propose Graph Transformer Networks (GTNs) that are capable of generating new graph structures, which involve identifying useful connections between unconnected nodes on the original graph, while learning effective node representation on the new graphs in an end-to-end fashion. Graph Transformer layer, a core layer of GTNs, learns a soft selection of edge types and composite relations for generating useful multi-hop connections so-called meta-paths. Our experiments show that GTNs learn new graph structures, based on data and tasks without domain knowledge, and yield powerful node representation via convolution on the new graphs. Without domain-specific graph preprocessing, GTNs achieved the best performance in all three benchmark node classification tasks against the state-of-the-art methods that require pre-defined meta-paths from domain knowledge.

연구 동기 및 목표

• 이질 그래프에서 고정된 동질 그래프를 넘는 노드 표현 학습을 자극한다.
• 각 작업에 대해 유용한 메타-패스와 다중-홉 연결을 자동으로 발견하는 프레임워크를 개발한다.
• 그래프 구조 학습과 노드 표현 학습이 통합된 엔드-투-엔드 학습을 가능하게 한다.
• 예측에 기여하는 메타-패스(간선 유형)를 식별하여 해석가능성을 제공한다.

제안 방법

• 이질 그래프를 서로 다른 간선 유형에 대한 다중 인접 행렬로 표현한다.
• 후보 간선 유형을 소프트하게 가중치하고 선택하기 위해 Softmax가 적용된 1x1 컨볼루션을 사용한다.
• 선택된 인접 행렬을 곱해 새로운 메타-패스 그래프를 형성하고 A(l) = D^{-1} Q1 Q2로 정규화한다.
• 학습 가능한 경로 길이와 원래 간선을 허용하기 위해 항등 행렬을 후보 집합에 포함한다.
• 학습된 각 메타-패스 그래프에 GCN을 적용하고 다중 채널 표현을 결합해 최종 예측을 수행한다.
• 라벨이 지정된 노드에서 표준 교차 엔트로피 손실로 학습한다.

실험 결과

연구 질문

• RQ1 RQ1: GTN이 생성한 새로운 그래프 구조가 노드 표현 학습에 효과적인가?
• RQ2 RQ2: GTN은 데이터 세트에 따라 가변 길이의 메타-패스를 적응적으로 생성할 수 있는가?
• RQ3 RQ3: GTN에서 생성된 인접 행렬로부터 각 메타-패스의 중요성을 어떻게 해석할 수 있는가?
• RQ4 (추가) GTN이 이질 그래프 노드 분류에서 사전에 정의된 메타-패스가 필요한 방법을 능가하는가?

주요 결과

• GTN은 무작위 보행 기반 기준선과 다른 GNN들보다 세 데이터셋 모두에서 최고의 성능을 달성한다.
• GAT는 일반적으로 GCN보다 학습된 이웃 가중치로 인해 우수하며, 이 실험에서 HAN은 GAT에 비해 성능이 떨어진다.
• GTN 없이 아이덴티티를 사용하는 GTN_-I는 전체 GTN보다 성능이 떨어져 더 짧은 메타-패스 학습의 이점을 시사한다.
• GTN은 대상 노드에 대해 도메인 정의 메타-패스와 일치하는 메타-패스를 학습하고, 또한 새롭고 정보-rich한 메타-패스도 발견한다.
• 데이터셋에 따라 메타-패스 길이를 조정할 수 있어, 짧은 경로가 이로운 경우 항등에 더 큰 주의를 기울인다(IMDB에서 관찰된 바와 같이).
• 절단실험으로 GTN이 여러 학습된 메타-패스 그래프 위에서 GCN들의 앙상블처럼 작동하여 엔드-투-엔드 학습으로 성능이 향상된다.