[논문 리뷰] Knowledge Hypergraph Embedding Meets Relational Algebra

Bahare Fatemi, Perouz Taslakian외 2명|arXiv (Cornell University)|2021. 02. 18.

Advanced Graph Neural Networks참고 문헌 22인용 수 6

한 줄 요약

이 논문은 링크 예측 성능을 향상시키기 위해 관계 대수 연산(이름 변경, 투영, 선택, 합집합, 차집합)을 신경망 아키텍처에 통합한 지식 초그래프 임bedding 모델인 ReAlE를 제안한다. 모델은 이론적으로 완전 표현 가능성을 입증되었고, 실제 및 합성 지식 초그래프 데이터셋에서 최신 기술 대비 뛰어난 성능을 보였다. 특히 고차원 관계 추상화를 효과적으로 포착하는 데 성공했다.

ABSTRACT

Embedding-based methods for reasoning in knowledge hypergraphs learn a representation for each entity and relation. Current methods do not capture the procedural rules underlying the relations in the graph. We propose a simple embedding-based model called ReAlE that performs link prediction in knowledge hypergraphs (generalized knowledge graphs) and can represent high-level abstractions in terms of relational algebra operations. We show theoretically that ReAlE is fully expressive and provide proofs and empirical evidence that it can represent a large subset of the primitive relational algebra operations, namely renaming, projection, set union, selection, and set difference. We also verify experimentally that ReAlE outperforms state-of-the-art models in knowledge hypergraph completion, and in representing each of these primitive relational algebra operations. For the latter experiment, we generate a synthetic knowledge hypergraph, for which we design an algorithm based on the Erdos-R'enyi model for generating random graphs.

연구 동기 및 목표

• 관계 대수 연산을 활용하여 고차원 관계 추상화를 포착하는 지식 초그래프 임베딩 모델을 설계한다.
• 기존 모델이 비이元 관계에서 추론하는 데 한계를 가진 점을 보완하기 위해 관계 대수의 절차적 의미를 통합한다.
• 초그래프 내 핵심 관계 연산을 표현하기 위해 이론적 표현력과 실증적 효과성을 확보한다.
• 실제 및 합성 지식 초그래프에서 성능을 평가하며, 윈도우 크기의 분석도 포함한다.

제안 방법

• 모델는 임베딩 요소 간의 상호작용을 모델링하기 위해 윈도우 기반 상호작용 메커니즘을 사용하여 구성적 추론을 가능하게 한다.
• 이름 변경, 투영, 선택, 합집합, 집합 차집합과 같은 기본 관계 대수 연산을 시뮬레이션하기 위해 학습 가능한 파라미터를 적용한다.
• 관계는 관계 대수 연산에 해당하는 학습 가능한 변환 행렬로 표현된다.
• 평가를 위해 지능형 초그래프 생성 알고리즘 기반의 Erdős-Rényi 알고리즘을 사용하여 실제 연산이 제어된 합성 지식 초그래프를 생성한다.
• 표현력을 향상시키기 위해 관계별 윈도우를 기반으로 임베딩을 집계하는 윈도우 기반 점수 함수를 도입한다.
• 하이퍼파rameter 튜닝에는 윈도우 크기가 포함되며, 이는 성능에 상당한 영향을 미치는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 신경망 기반 임베딩 모델이 지식 초그래프에서 이름 변경, 투영, 집합 차집합과 같은 기본 관계 대수 연산을 표현할 수 있는가?
• RQ2 관계 대수 원소를 통합함으로써 지식 초그래프 완성에서 일반화 능력과 링크 예측 성능이 향상되는가?
• RQ3 합성 초그래프에서 관계 대수 연산의 깊이 및 유형에 따라 모델 성능은 어떻게 변하는가?
• RQ4 ReAlE에서 임베딩 구성 요소 간의 상호작용에 최적의 윈도우 크기는 무엇인가?

주요 결과

• JF17K, FB-AUTO, M-FB15K 세 개의 실세계 데이터셋에서 ReAlE는 평균 역수 순위(MRR) 기준으로 최신 기술 대비 뛰어난 성능을 보였다.
• 합성 REL-ER 데이터셋에서 ReAlE는 이름 변경, 투영, 선택, 합집합, 차집합을 포함한 모든 관계 대수 연산 유형에서 뛰어난 성능을 기록했다.
• 기초 관계에서의 높은 성능은 기본 표현 학습이 효과적으로 이루어졌음을 시사한다.
• 분석 결과 윈도우 크기가 성능에 상당한 영향을 미치며, 윈도우 크기가 2에서 4 사이일 때 최적의 성능을 달성함을 확인했다.
• 테스트 세트에서 선택 튜플이 부족한 것은 빈도가 낮기 때문이지만, ReAlE는 훈련 과정에서 이를 효과적으로 학습했다.