[논문 리뷰] HousE: Knowledge Graph Embedding with Householder Parameterization

Rui Li, Jianan Zhao외 10명|arXiv (Cornell University)|2022. 02. 16.

Advanced Graph Neural Networks인용 수 20

한 줄 요약

HousE는 하우스홀더 회전과 하우스홀더 프로젝션을 도입하여 고차원 관계 회전 및 관계 매핑 특성을 모델링하고, 다섯 가지 벤치마크에서 KG 임베딩의 최첨단 성능을 달성한다.

ABSTRACT

The effectiveness of knowledge graph embedding (KGE) largely depends on the ability to model intrinsic relation patterns and mapping properties. However, existing approaches can only capture some of them with insufficient modeling capacity. In this work, we propose a more powerful KGE framework named HousE, which involves a novel parameterization based on two kinds of Householder transformations: (1) Householder rotations to achieve superior capacity of modeling relation patterns; (2) Householder projections to handle sophisticated relation mapping properties. Theoretically, HousE is capable of modeling crucial relation patterns and mapping properties simultaneously. Besides, HousE is a generalization of existing rotation-based models while extending the rotations to high-dimensional spaces. Empirically, HousE achieves new state-of-the-art performance on five benchmark datasets. Our code is available at https://github.com/anrep/HousE.

연구 동기 및 목표

• KGE에서 대칭성, 비대칭성, 반전, 합성 등 포괄적 관계 패턴과 관계 매핑 특성을 모델링할 필요성을 제시한다.
• 하우스홀더 변환을 기반으로 한 일반적이고 고용량의 파라미터화를 제안하여 고차원에서의 회전을 표현한다.
• 관계 패턴과 매핑 특성을 모두 포착하기 위해 하우스홀더 회전과 가역적 하우스홀더 프로젝션을 결합한다.
• HousE가 기존의 회전 기반 모델을 일반화하고 표준 벤치마크에서 최첨단 결과를 달성함을 보인다.
• 광범위한 실험을 통해 고차원 회전과 가역적 프로젝션의 효과를 입증한다.

제안 방법

• 하우스홀더 반사를 통해 관계를 고차원 회전으로 표현하고, 어떤 k차원 회전도 2 floor(k/2) 개의 반사의 곱으로 표현될 수 있음을 가능하게 한다(Rot-H).
• 헤드와 꼬리 엔티티에 대해 관계 특이적이고 가역적인 표현을 생성하는 관계형 하우스홀더 프로젝션(Pro-H)을 도입한다.
• 프로젝션과 회전을 하나의 통합 프레임워크(HousE)로 결합하여 모든 대상 관계 패턴과 매핑 특성을 모델링한다.
• 회전된 헤드 프로젝션과 투사된 타일의 행별 L2 거리를 합산하여 거리 기반 점수 d_r(h,t)를 정의한다.
• 하우스홀더 구조에 의해 보호되는 동등한 벡터 연산으로 행렬-벡터 곱을 변환하여 효율적 계산을 제공한다.
• HousE를 기존의 회전 기반 모델들(RotatE, Rotate3D, QuatE)과 정합시키고 특수한 경우로 확장한다.

실험 결과

연구 질문

• RQ1 하우스홀더 파라미터화가 KG에서 일반적인 관계 패턴과 매핑 특성을 포착하는 데 필요한 모든 k차원 회전을 표현할 수 있는가?
• RQ2 고차원 하우스홀더 회전과 가역적 하우스홀더 프로젝션의 결합이 기존의 회전 기반 접근법보다 모든 관계 패턴과 RMP를 더 잘 모형화하는가?
• RQ3 표준 KG 벤치마크에서 강력한 기준선에 대해 HousE의 성능은 어떠하며, 하이퍼파라미터(회전 차원 k, 프로젝션 수 m)가 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프로젝션이 가역성을 보존하고 초기 프로젝션이 포착하지 못한 반전(inversion) 및 합성(composition) 패턴의 모형화를 가능하게 하는가?

주요 결과

• HousE-r(회전만) 은 WN18 및 FB15k에서 기준선보다 뛰어나며, 고차원 하우스홀더 회전의 힘을 보여준다.
• HousE(회전+프로젝션)은 WN18과 FB15k에서 새로운 최첨단 결과를 달성하며, 특히 관계 매핑 특성에서 개선을 보인다.
• WN18RR, FB15k-237 및 YAGO3-10에서 HousE-r과 HousE가 대부분의 기준선보다 우수하며, HousE가 지표 전반에서 종종 최상의 결과를 제공합니다.
• Relational Householder projections 덕분에 1-대-N 및 N-대-1 관계에서 성능이 크게 향상됩니다.
• 절제 비교(HousH, HousR)는 비가역적 프로젝션이 성능을 저해하는 반면, HousE의 가역적 하우스홀더 프로젝션은 명확한 이점을 제공합니다.
• 번형에 평행이동(translations)을 추가하는 변형(HousE-r+ 및 HousE+)은 결과를 더욱 개선하여 계층적 정보 모델링의 이점을 시사한다.