[논문 리뷰] R-GCN: The R Could Stand for Random

Vic Degraeve, Gilles Vandewiele외 2명|arXiv (Cornell University)|2022. 03. 04.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 관계형 그래프 컨volution 네트워크(R-GCN)의 변종인 RR-GCN을 제안한다. RR-GCN은 학습된 관계별 전환 행렬을 무작위로 초기화된 고정 행렬로 대체하여, 메시지 전달 과정에서 무작위 가중치를 사용함으로써 노드 분류 및 링크 예측 작업에서 완전히 학습된 R-GCN과 동등하거나 더 뛰어난 성능을 달성함을 입증한다. 핵심 통찰은 학습된 파rameter보다 지식 그래프의 구조적 인덕티브 바이어스와 메시지 전달 메커니즘 자체가 더 중요하다는 것이다.

ABSTRACT

The inception of the Relational Graph Convolutional Network (R-GCN) marked a milestone in the Semantic Web domain as a widely cited method that generalises end-to-end hierarchical representation learning to Knowledge Graphs (KGs). R-GCNs generate representations for nodes of interest by repeatedly aggregating parameterised, relation-specific transformations of their neighbours. However, in this paper, we argue that the the R-GCN's main contribution lies in this "message passing" paradigm, rather than the learned weights. To this end, we introduce the "Random Relational Graph Convolutional Network" (RR-GCN), which leaves all parameters untrained and thus constructs node embeddings by aggregating randomly transformed random representations from neighbours, i.e., with no learned parameters. We empirically show that RR-GCNs can compete with fully trained R-GCNs in both node classification and link prediction settings.

연구 동기 및 목표

• R-GCN에서 학습된 파rameter가 지식 그래프 임베딩에 있어 필수적인지 조사하기.
• 학습 없이도 전체적으로 무작위 메시지 전달 메커니즘의 성능을 평가하기.
• 미래의 지식 그래프 임베딩 방법을 위한 강력하고 효율적인 기준선 설정하기.
• 지식 그래프의 구조적 인덕티브 바이어스만으로도 고품질의 표현을 생성하는 데 충분한지 탐색하기.
• 백프로파게이션과 가중치 학습을 제거함으로써 더 빠른 실험 가능성을 제공하기.

제안 방법

• RR-GCN은 R-GCN 내 모든 관계별 전환 행렬을 무작위로 초기화하고, 추론 기간 동안 동결된 고정 행렬로 대체한다.
• 노드 표현은 메시지 전달을 통해 업데이트된다: 각 노드는 무작위 전환 행렬을 사용해 이웃으로부터 메시지를 집계하고, 평균화 및 ReLU 활성화를 거친다.
• 메시지 전달 과정은 백프로파게이션 또는 파arameter 업데이트 없이 다중 레이어에 걸쳐 적용된다.
• 임베딩는 단일 전방 전파를 통해 생성되며, 이는 엔드 투 엔드로 학습된 R-GCN보다 훨씬 빠른 속도를 제공한다.
• 이 방법은 R-GCN과 동일한 집계 및 업데이트 메커니즘을 사용하지만, 모든 학습된 가중치를 생략한다.
• 이 접근법은 아홉 개인 분류 데이터셋과 하나의 링크 예측 벤치마크에서 평가되었으며, 완전히 학습된 R-GCN과 비교되었다.

실험 결과

연구 질문

• RQ1 메시지 전달 과정에서 학습되지 않은 무작위 관계별 전환 행렬이 지식 그래프 임베딩에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 R-GCN의 성능이 학습된 파arameter보다 메시지 전달 메커니즘 덕분인가?
• RQ3 지식 그래프의 구조적 인덕티브 바이어스만으로도 효과적인 노드 표현을 위한 충분한 신호를 제공하는가?
• RQ4 RR-GCN이 미래의 지식 그래프 임베딩 방법을 위한 강력하고 빠르며 경량의 기준선이 될 수 있는가?
• RQ5 어떤 경우에 학습된 R-GCN이 RR-GCN을 능가하는가? 이는 모델의 학습 행동에 대해 어떤 시사점을 제공하는가?

주요 결과

• 낮은 중요도의 관계 유형을 제거한 후 AM 데이터셋에서 RR-GCN은 91.31% ± 0.24%의 노드 분류 정확도를 달성하여 학습된 R-GCN을 능가했다.
• 링크 예측에서 RR-GCN은 모든 지표에서 완전히 학습된 R-GCN과 통계적으로 구분되지 않는 결과를 도출했다.
• RR-GCN은 2시간 이내에 학습되었고, 학습된 R-GCN은 수일이 걸려 수렴함을 보여, 뚜렷한 속도 향상이 있었다.
• 모델은 의미적 구조를 유지한다: 대륙과 인접 국가 같은 실체들이 임베딩 공간에서 유의미한 군집을 이룬다.
• 어떤 경우에서는 RR-GCN이 학습된 R-GCN을 능가했으며, 이는 후자의 경우 종종 그래프의 일부를 억제하거나 무시하는 경향이 있음을 시사한다.
• 결과는 메시지 전달 메커니즘과 그래프 위상이 지식 그래프에서 표현 학습에 있어 학습된 파arameter보다 더 중요하다는 것을 시사한다.