[논문 리뷰] Improving Hyper-Relational Knowledge Graph Completion

Donghan Yu, Yiming Yang|arXiv (Cornell University)|2021. 04. 16.

Advanced Graph Neural Networks참고 문헌 19인용 수 19

한 줄 요약

이 논문은 STARE의 무거운 그래프 신경망을 경량 임베딩 기법으로 대체하고, 수식 기반 보조 학습 태스크를 도입함으로써 초상관계 지식 그래프 완성에서 더 효율적이고 효과적인 모델인 Hy-Transformer를 제안한다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성하면서도 계산 비용을 크게 감소시킨다.

ABSTRACT

Different from traditional knowledge graphs (KGs) where facts are represented as entity-relation-entity triplets, hyper-relational KGs (HKGs) allow triplets to be associated with additional relation-entity pairs (a.k.a qualifiers) to convey more complex information. How to effectively and efficiently model the triplet-qualifier relationship for prediction tasks such as HKG completion is an open challenge for research. This paper proposes to improve the best-performing method in HKG completion, namely STARE, by introducing two novel revisions: (1) Replacing the computation-heavy graph neural network module with light-weight entity/relation embedding processing techniques for efficiency improvement without sacrificing effectiveness; (2) Adding a qualifier-oriented auxiliary training task for boosting the prediction power of our approach on HKG completion. The proposed approach consistently outperforms STARE in our experiments on three benchmark datasets, with significantly improved computational efficiency.

연구 동기 및 목표

• 초상관계 지식 그래프 완성 분야에서 당시 최고 성능을 기록한 STARE의 계산 비효율성 문제를 해결하기 위해, 무거운 그래프 신경망에 의존하는 모델의 문제를 해결한다.
• 삼중항과 그에 해당하는 수식 간의 상호작용을 더 잘 모델링함으로써 초상관계 지식 그래프 완성의 예측 성능을 향상시킨다.
• 경량 임베딩 처리 기법을 통해 추론 및 학습 시간을 크게 줄이며도 모델의 효과성을 유지하거나 향상시킨다.
• 결측된 수식 엔티티를 예측하는 데 초점을 맞춘 새로운 보조 학습 태스크를 도입하여 표현 학습을 강화한다.
• 다양한 비율의 초상관계 문장이 포함된 다양한 데이터셋에서 일관된 성능 향상을 입증한다.

제안 방법

• STARE의 그래프 신경망 모듈을 경량 엔티티 및 관계 임베딩 처리 기법(예: 레이어 정규화, 드롭아웃 포함)으로 대체하여 계산 효율성을 향상시킨다.
• 결측된 엔티티를 예측하는 보조 학습 목표를 도입하여, 수식 관계 간의 상호작용을 더 잘 학습할 수 있도록 모델의 능력을 강화한다.
• Transformer 인코더가 처리할 수 있도록 입력 문장을 토큰 시퀀스(주어진 엔티티, 관계, [MASK], 수식 관계, 수식 엔티티)로 평탄화한다.
• 엔티티 및 관계 임베딩에 레이어 정규화와 드롭아웃을 적용하여 학습 안정성을 확보하고 과적합을 방지한다.
• BERT와 유사한 마스크된 언어 모델링 접근 방식을 사용하여, [MASK] 토큰이 주삼중항의 결측한 주어지거나 목적어를 나타낸다.
• 주 예측 손실과 보조 수식 예측 손실을 조합하여 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 STARE의 GNN 모듈을 경량 임베딩 기법으로 대체함으로써 성능을 유지하면서도 계산 효율성을 향상시킬 수 있는가?
• RQ2 결측된 수식 엔티티를 예측하는 데 초점을 맞춘 보조 학습 태스크를 도입함으로써 모델이 초상관계 지식 그래프를 더 잘 완성할 수 있는가?
• RQ3 초상관계 문장 비율이 다양할 경우(즉, 수식이 많은 문장의 비율이 변할 경우) 모델의 성능은 어떻게 되는가?
• RQ4 개별 임베딩 처리 구성 요소(예: 레이어 정규화, 드롭아웃)가 최종 성능에 기여하는 정도는 어떠한가?
• RQ5 제안된 방법이 표준 초상관계 지식 그래프 완성 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• Hy-Transformer는 WikiPeople에서 MRR 0.501, JF17K에서 0.582, WD50K에서 0.356의 새로운 최고 성능을 기록하여 세 데이터셋 모두에서 STARE를 초월한다.
• 100% 초상관계 문장을 포함한 WD50K (100) 데이터셋에서 Hy-Transformer는 MRR 0.699를 기록하여 STARE 대비 5.7% 향상된 성능을 보였다.
• 보조 학습 태스크는 WD50K (33), WD50K (66), WD50K (100)에서 각각 MRR을 3.3%, 5.1%, 5.7% 향상시켰으며, 수식이 많은 문장의 비율이 높을수록 성능 향상 폭이 커졌다.
• 절단 실험 결과, 엔티티 임베딩의 레이어 정규화를 제거하면 MRR가 6.6% 감소하여 이 기법이 성능 안정성에 핵심적인 역할을 한다는 점을 입증했다.
• 엔티티 임베딩 드롭아웃은 MRR을 4.0% 향상시켜 대규모 엔티티 임베딩에서 과적합을 완화하는 데 효과적이라는 점을 보여주었다.
• GNN 모듈의 제거로 인해 Hy-Transformer는 STARE보다 훨씬 더 효율적이며, 대규모 초상관계 지식 그래프에서 빠른 학습과 추론을 가능하게 했다.