[논문 리뷰] r-GAT: Relational Graph Attention Network for Multi-Relational Graphs

Chen Mei-qi, Yuan Zhang외 3명|arXiv (Cornell University)|2021. 09. 13.

Advanced Graph Neural Networks참고 문헌 30인용 수 16

한 줄 요약

이 논문은 다중관계 그래프를 위한 관계 기반 그래프 어텐션 네트워크인 r-GAT을 제안한다. r-GAT은 관계별 의미 정보를 활용하여 분리된, 다중 채널 엔티티 표현을 학습한다. 질의에 민감한 어텐션 메커니즘을 도입함으로써 추론 과정에서 관련 의미적 측면을 동적으로 선택함으로써, 링크 예측 및 엔티티 분류 성능을 향상시키고 모델의 해석 가능성도 향상시킨다.

ABSTRACT

Graph Attention Network (GAT) focuses on modelling simple undirected and single relational graph data only. This limits its ability to deal with more general and complex multi-relational graphs that contain entities with directed links of different labels (e.g., knowledge graphs). Therefore, directly applying GAT on multi-relational graphs leads to sub-optimal solutions. To tackle this issue, we propose r-GAT, a relational graph attention network to learn multi-channel entity representations. Specifically, each channel corresponds to a latent semantic aspect of an entity. This enables us to aggregate neighborhood information for the current aspect using relation features. We further propose a query-aware attention mechanism for subsequent tasks to select useful aspects. Extensive experiments on link prediction and entity classification tasks show that our r-GAT can model multi-relational graphs effectively. Also, we show the interpretability of our approach by case study.

연구 동기 및 목표

• 방향성 있는 레이블이 부여된 간선을 가진 다중관계 그래프를 모델링하는 데 있어 표준 GAT의 한계를 해결하기 위해.
• 엔티티 표현을 여러 의미 채널로 분리하여 각 채널이 별개의 측면(예: 위치, 직업, 가족)에 대응하도록 하기 위해.
• 하류 작업에 적합한 의미 채널을 동적으로 선택할 수 있도록 질의에 민감한 선택 메커니즘을 제공하기 위해.
• 관계의 의미 측면과 어텐션 가중치를 연결함으로써 모델의 해석 가능성 향상시키기 위해.
• 기존 GNN들과 비교해 성능과 파라미터 효율성 측면에서 더 나은 성능을 내기 위해.

제안 방법

• r-GAT은 엔티티와 관계를 다수의 독립된 의미 채널으로 투영하며, 각 채널은 관계 기반의 이웃 집합을 학습한다.
• 각 채널은 관계 특징을 사용해 어텐션 가중치를 계산하여 특정 의미 측면과 관련된 이웃 집합만 선택적으로 집계한다.
• 질의 관계에 기반해 채널 간 동적 어텐션을 계산하는 질의에 민감한 어텐션 메커니즘이 도입되어 표현 선택을 적응적으로 수행한다.
• 모델은 채널 간 다중 헤드 어텐션 메커니즘을 사용하며, 관계별로 고유한 어텐션 헤드를 위한 학습 가능한 파라미터를 포함한다.
• 관계 유형별로 전용 파라미터를 도입하지 않아 과도한 파rameter화를 방지하며, 관계 유형 간 공유된 어텐션 메커니즘에 의존한다.
• 최종 엔티티 표현은 질의에 민감한 어텐션 메커니즘에 의해 결정된 가중치를 사용해 채널별 표현의 가중합으로 구성된다.

실험 결과

연구 질문

• RQ1 엔티티의 의미 측면을 분리함으로써 그래프 신경망이 다중관계 그래프를 효과적으로 모델링할 수 있는가?
• RQ2 관계별 의미 정보를 이웃 집합 집합에 통합하여 표현 학습 성능를 향상시킬 수 있는가?
• RQ3 질의에 민감한 어텐션 메커니즘이 다양한 하류 작업에 맞게 관련 의미 채널을 동적으로 선택할 수 있는가?
• RQ4 분리된 표현 방식이 링크 예측 및 엔티티 분류에서 해석 가능성 향상에 기여하는가?
• RQ5 기존 GNN들과 비교해 다중관계 그래프 벤치마크에서 r-GAT의 성능과 파라미터 효율성은 어떠한가?

주요 결과

• r-GAT은 FB15k-237 및 WN18RR 데이터셋에서 링크 예측 및 엔티티 분류 작업 모두에서 최신 기준(SOTA) 성능을 달성한다.
• 특히 의미 분리가 필요한 복잡한 관계에서 Hits@10 및 Hits@20 지표에서 뚜렷한 향상을 보였다.
• 사례 연구 결과, 'live_in'과 'place_of_birth'와 같은 다른 관계는 각각 다른 의미 채널에 집중하며 인간의 해석 기대와 일치함을 확인했다.
• 질의에 민감한 어텐션 메커니즘은 기존 사실에 대한 동적 어텐션을 가능하게 하였다: 예를 들어 'profession' 관계는 직업 관련 채널을 우선시하고, 'live_in'은 위치 관련 사실에 집중한다.
• K=8 채널을 사용한 r-GAT은 단일 채널 기반 베이스라인(K=1)보다 성능이 뛰어나 분리된 표현 방식의 유용성을 입증하였다.
• 채널 간 어텐션 분포는 의미적으로 일관되며, 유사한 의미를 가진 관계들(예: 'award_nominee'와 'influence_by')은 유사한 어텐션 패턴을 보였다.