[논문 리뷰] Relation Prediction as an Auxiliary Training Objective for Improving Multi-Relational Graph Representations

Yihong Chen, Pasquale Minervini외 2명|arXiv (Cornell University)|2021. 10. 06.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 다중관계 그래프 표현 학습에 관계 예측을 통합한 자기지도 보조 학습 목표를 제안하며, 지식 기반 완성(KBC) 성능을 향상시킨다. 수정된 1vsAll 목표를 사용해 주어진 삼중항 (s, p, o)의 주어진, 목적어, 관계를 동시에 예측하도록 모델을 공동으로 훈련시킴으로써, FB15k-237에서 Hits@1 기준 최대 9.9% 향상과 MRR 기준 최대 6.1% 향상이 이루어지며, 특히 다수의 관계를 포함하는 고다중관계 데이터셋과 더 큰 임bedding 크기를 사용할 경우 두드러진 성능 향상을 보인다.

ABSTRACT

Learning good representations on multi-relational graphs is essential to knowledge base completion (KBC). In this paper, we propose a new self-supervised training objective for multi-relational graph representation learning, via simply incorporating relation prediction into the commonly used 1vsAll objective. The new training objective contains not only terms for predicting the subject and object of a given triple, but also a term for predicting the relation type. We analyse how this new objective impacts multi-relational learning in KBC: experiments on a variety of datasets and models show that relation prediction can significantly improve entity ranking, the most widely used evaluation task for KBC, yielding a 6.1% increase in MRR and 9.9% increase in Hits@1 on FB15k-237 as well as a 3.1% increase in MRR and 3.4% in Hits@1 on Aristo-v4. Moreover, we observe that the proposed objective is especially effective on highly multi-relational datasets, i.e. datasets with a large number of predicates, and generates better representations when larger embedding sizes are used.

연구 동기 및 목표

• 지식 기반 완성(KBC)을 위한 다중관계 그래프 표현 학습을 향상시키기 위해 새로운 자기지도 학습 목표를 제안한다.
• 훈련 중 관계 유형을 예측하는 것이 최종 링크 예측 성능에 기여하는지 조사한다.
• 다양한 KBC 모델과 관계 복잡도가 다른 다양한 데이터셋에서 제안된 목표의 효과를 평가한다.
• 이 방법이 특히 다대다 관계와 고다중관계 데이터셋에서 표현 품질에 미치는 영향을 분석한다.
• 보조 목표가 관계 표현의 다양성과 분리도를 향상시키는지 탐색한다.

제안 방법

• 표준 1vsAll 학습 목표를 확장하여 주어진 삼중항 (s, p, o)의 관계 유형을 예측하는 항목을 추가한다.
• 모델은 주어진, 목적어, 관계를 동시에 예측하도록 공동으로 훈련되며, 세 구성 요소를 모두 포함하는 공동 점수 함수를 사용한다.
• 학습 목표는 자율적인 것으로 추가 애너테이션을 필요로 하지 않으며, ComplEx-N3 및 CP-N3와 같은 기존 KGE 모델과 호환된다.
• 이 방법은 N3 정규화를 사용하며, 표준 KBC 평가 지표인 MRR 및 (s,p,?) 및 (?,p,o) 쿼리에 대한 Hits@1을 사용해 평가된다.
• t-SNE 시각화를 통해 학습된 엔터티 및 관계 표현의 다양성과 군집 특성을 정성적으로 분석한다.
• 초기화는 검증 MRR 기반으로 선택되며, 실험은 FB15k-237, Aristo-v4 및 다양한 수의 술어를 포함한 다른 데이터셋에서 수행된다.

실험 결과

연구 질문

• RQ1 관계 예측을 보조 목표로 통합함으로써 다중관계 그래프 표현 학습이 KBC에서 향상되는가?
• RQ2 제안된 목표가 엔터티 랭킹 작업, 특히 MRR 및 Hits@1 성능에 미치는 영향은 어떠한가?
• RQ3 다수의 관계를 포함하는 고다중관계 데이터셋에서 성능 향상이 더 두드러지는가?
• RQ4 이 방법이 복잡한 다대다 관계를 예측하는 데 모델의 능력을 향상시키는가?
• RQ5 보조 목표가 더 다양하고 잘 분리된 관계 표현을 생성하는 데 기여하는가?

주요 결과

• 제안된 관계 예측 목표를 ComplEx-N3에 적용했을 때, 2K에서 4K 사이의 임베딩 크기에서 FB15k-237에서 MRR이 6.1% 향상되고 Hits@1이 9.9% 향상된다.
• Aristo-v4에서 MRR은 3.1% 향상되고 Hits@1은 3.4% 향상되어 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 성능 향상은 특히 다수의 서로 다른 관계 유형이 존재하는 고다중관계 데이터셋에서 가장 두드러지며, 이는 관계 유형 수가 많을수록 이 방법이 더 효과적임을 시사한다.
• 더 큰 임베딩 크기에서 성능 향상이 더 뚜렷하여, 보조 목표가 표현 용량이 높을수록 더 큰 이점을 제공함을 시사한다.
• t-SNE를 통한 정성적 분석 결과, 관계 예측은 더 명확하고 다양한 관계 표현 군집을 생성하여 의미적 분리도를 향상시킨다.
• 특히 표준 KGE 모델이 어려워하는 어려운 다대다 관계, 예를 들어 'current_roster', 'founded_in', 'awards_won' 등의 예측 정확도가 향상된다.