[논문 리뷰] Knowledge Hypergraphs: Extending Knowledge Graphs Beyond Binary Relations.

Bahare Fatemi, Perouz Taslakian외 2명|arXiv (Cornell University)|2019. 06. 01.

Advanced Graph Neural Networks참고 문헌 26인용 수 16

한 줄 요약

이 논문은 기존의 재구성 기반 접근 방식에 의존하지 않고, 임의의 수의 실체를 포함하는 관계를 직접 다룰 수 있는 지식 초그래프 임베딩 모델인 HSimplE와 HypE를 제안한다. 모델들은 관계 내 실체의 위치 정보를 통합하여, 새로 제안된 초그래프 벤치마크에서 베이스라인보다 뛰어난 성능을 보이며, 초그래프 링크 예측에서 뛰어난 성능을 입증한다.

ABSTRACT

Knowledge graphs store facts using relations between two entities. In this work, we address the question of link prediction in knowledge hypergraphs where relations are defined on any number of entities. While techniques exist (such as reification) that convert non-binary relations into binary ones, we show that current embedding-based methods for knowledge graph completion do not work well out of the box for knowledge graphs obtained through these techniques. To overcome this, we introduce HSimplE and HypE, two embedding-based methods that work directly with knowledge hypergraphs. In both models, the prediction is a function of the relation embedding, the entity embeddings and their corresponding positions in the relation. We also develop public datasets, benchmarks and baselines for hypergraph prediction and show experimentally that the proposed models are more effective than the baselines.

연구 동기 및 목표

• 기존 지식 그래프 임베딩 방법이 비이元, 다중 실체 관계를 처리하는 데에 한계가 있음을 해결한다.
• 초그래프 링크 예측에 적용되었을 때 재구성 기반 접근 방식의 열악한 성능을 극복한다.
• 이원 관계로의 변환에 의존하지 않고 초그래프 구조를 본질적으로 지원하는 전용 임베딩 모델을 개발한다.
• 표준화된 평가를 가능하게 하기 위해 초그래프 링크 예측을 위한 공개 벤치마크와 베이스라인을 구축한다.
• 실세계 초그래프 데이터셋을 통한 실험적 평가를 통해 제안된 모델의 효과성을 입증한다.

제안 방법

• SimplE 모델의 초그래프 버전인 HSimplE를 제안하며, 관계 임베딩과 실체 임베딩, 그리고 그들의 위치 인코딩을 결합한다.
• 초그래프에 특화된 모델인 HypE를 설계하여, 관계 임베딩에 대해 실체별 주의 가중치를 학습시켜 예측 정확도를 향상시킨다.
• 각 초엣지를 실체와 관계의 튜플로 모델링하며, 실체의 위치를 임베딩 계산에 명시적으로 포함시킨다.
• 관계 임베딩, 실체 임베딩, 위치 정보를 조합하는 스코어링 함수를 사용하여 초엣지 내 누락된 실체를 예측한다.
• 예측 손실을 최소화하기 위해 음성 샘플링과 확률적 최적화를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 기존 지식 그래프 임베딩 기법을 초그래프 환경에 적응시켜 구조적 및 관계적 의미를 유지한다.

실험 결과

연구 질문

• RQ1 재구성 후 기존 지식 그래프 임베딩 방법을 초그래프에 효과적으로 적용할 수 있는가, 성능 저하 없이?
• RQ2 위치 인식 실체 임베딩은 초그래프에서 링크 예측 성능에 어떤 영향을 미치는가?
• RQ3 HSimplE와 HypE와 같은 전용 초그래프 임베딩 모델은 재구성 기반 베이스라인을 초월할 수 있는가?
• RQ4 다중 실체 관계를 직접 모델링하는 것과 이원 관계로 변환하는 것의 영향은 무엇인가?
• RQ5 제안된 모델은 다양한 초그래프 구조와 관계 유형에 대해 어떻게 일반화되는가?

주요 결과

• HSimplE와 HypE는 초그래프 링크 예측 벤치마크에서 재구성 기반 베이스라인을 크게 앞서간다.
• 실체 임베딩에 위치 정보를 통합함으로써, 평가된 모든 데이터셋에서 모델 성능이 향상된다.
• 재구성 없이 초그래프를 직접 모델링할 경우, 이원 관계로의 변환 방법보다 더 우수한 일반화 능력과 높은 예측 정확도를 달성한다.
• 제안된 공개 벤치마크와 베이스라인은 향후 초그래프 연구를 위한 표준화된 평가 프레임워크를 제공한다.
• HypE는 테스트된 모든 초그래프 데이터셋에서 최고 성능을 기록하며, 주의 기반 실체 가중치의 효과성을 입증한다.
• 결과는 현재 지식 그래프 임베딩 방법이 아키텍처 적응 없이 초그래프로 직접 이식 가능하지 않음을 확인한다.