[논문 리뷰] Quaternion Graph Neural Networks

Dai Quoc Nguyen, Tu Dinh Nguyen외 1명|arXiv (Cornell University)|2020. 08. 12.

Advanced Graph Neural Networks참고 문헌 67인용 수 5

한 줄 요약

이 논문은 표현력 향상을 위해 해밀턴 곱을 사용하는 허수 단위 공간에서 그래프 표현을 학습하는 데 있어 최초의 방법으로, 퀼레르너 그래프 신경망(QGNN)을 제안한다. QGNN는 노드 분류, 그래프 분류, 지식 그래프 보완에서 최고 성능을 기록하며, SimQGNN는 지식 그래프 보완을 위한 세 가지 새로운 CoDEx 벤치마크에서 기존 모델을 능가한다.

ABSTRACT

Recently, graph neural networks (GNNs) have become an important and active research direction in deep learning. It is worth noting that most of the existing GNN-based methods learn graph representations within the Euclidean vector space. Beyond the Euclidean space, learning representation and embeddings in hyper-complex space have also shown to be a promising and effective approach. To this end, we propose Quaternion Graph Neural Networks (QGNN) to learn graph representations within the Quaternion space. As demonstrated, the Quaternion space, a hyper-complex vector space, provides highly meaningful computations and analogical calculus through Hamilton product compared to the Euclidean and complex vector spaces. Our QGNN obtains state-of-the-art results on a range of benchmark datasets for graph classification and node classification. Besides, regarding knowledge graphs, our QGNN-based embedding model achieves state-of-the-art results on three new and challenging benchmark datasets for knowledge graph completion. Our code is available at: \url{https://github.com/daiquocnguyen/QGNN}.

연구 동기 및 목표

• 기존 유클리드 벡터 공간을 넘어서 퀄레르너 공간을 활용한 그래프 표현 학습의 가능성을 탐색하기 위해.
• 더 표현력 있는 그래프 임베딩을 위해 퀄레르너의 대수적 성질을 활용하는 새로운 GNN 아키텍처를 개발하기 위해.
• 노드 및 그래프 분류 작업을 포함한 표준 그래프 학습 벤치마크에서 최고 성능을 달성하기 위해.
• 통합된 엔티티 그래프를 구축하고 QGNN 기반 모델을 적용하여 지식 그래프 보완을 향상시키기 위해.
• 광범위한 평가를 통해 실수값 및 복소수값 GNN들과 비교했을 때 퀄레르너 기반 표현의 우수성을 입증하기 위해.

제안 방법

• QGNN는 퀄레르너 수치로 표현된 노드 표현을 사용하며, 메시지 전파에 해밀턴 곱을 적용하여 표준 내적 곱보다 더 rich한 상호작용을 가능하게 한다.
• 모델은 이웃 특징을 집계하기 위해 학습 가능한 퀄레르너 변환을 적용하여, 퀄레르너에 내재된 회전 및 기하학적 성질을 유지한다.
• 그래프 수준 작업을 위해, 노드 임베딩을 간단한 합집합 풀링을 통해 그래프 수준 표현으로 집계한다.
• 프레임워크는 삼중항으로부터 단일 무방향 엔티티 그래프를 구성하고 점수 함수를 적용하여 지식 그래프로 확장된다.
• 간단한 변형인 SimQGNN는 엔티티 그래프에서 기존 GNN을 사용하며 퀄레르너 임베딩을 적용하여, 최소한의 아키텍처 복잡성으로도 뛰어난 성능을 달성한다.
• 표준 최적화(Adam)를 사용한 엔드 투 엔드 훈련을 지원하며, 하이퍼파rameter 튜닝에 그리드 서치를 활용한다.

실험 결과

연구 질문

• RQ1 유럽형 및 복소수 벡터 공간과 비교해 퀄레르너 공간이 그래프 표현 학습에 향상된 성능을 제공할 수 있는가?
• RQ2 해밀턴 곱이 표준 내적 곱 집계 방식보다 더 표현력 있는 메시지 전파를 가능하게 하는가?
• RQ3 QGNN이 표준 노드 및 그래프 분류 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 CoDEx-S, CoDEx-M, CoDEx-L과 같은 도전적인 오픈 도메인 벤치마크에서 QGNN 기반 모델이 기존 지식 그래프 임베딩 방법을 능가할 수 있는가?
• RQ5 제안된 SimQGNN 모델은 복잡한 아키텍처 수정 없이도 지식 그래프 보완에서 효과적이고 효율적인가?

주요 결과

• SimQGNN는 CoDEx-S에서 Hits@10 65.2%, CoDEx-M에서 47.7%, CoDEx-L에서 43.7%를 기록하여, CompGCN 및 R-GCN을 포함한 모든 베이스라인을 능가한다.
• CoDEx-L에서 SimQGNN는 최고의 MRR(0.310)와 Hits@10(43.7%)를 기록하여 가장 도전적인 데이터셋에서도 뛰어난 강건성을 입증한다.
• QGNN는 노드 분류를 위한 인용 네트워크 데이터셋과 생물정보학 및 사회 네트워크 데이터셋에서 그래프 분류 작업에서 최고 성능을 기록한다.
• 동일한 엔티티 그래프 구축 방식을 사용하는 GCN 기반의 베이스라인인 SimRGCN는 SimQGNN에 비해 성능이 열 劣하므로, 퀄레르너 표현이 실수값 GNN보다 우월함을 시사한다.
• 제거 분석 결과, SimQGNN는 CoDEx-S, CoDEx-M, CoDEx-L에서 각각 3.1%, 2.0%, 0.9%의 Hits@10 점수로 CompGCN를 뛰어넘는다.
• 모든 CoDEx 데이터셋에서 경쟁력 있는 MRR 점수를 기록하며, CoDEx-L에서 MRR 및 Hits@10 모두 1위를 차지한다.