[논문 리뷰] Multilingual Knowledge Graph Completion with Joint Relation and Entity Alignment

Harkanwar Singh, Prachi Jain외 2명|arXiv (Cornell University)|2021. 04. 18.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 다국어 지식 그래프 완성(KGC), 실체 정합성(EA), 관계 정합성(RA)을 동시에 수행하는 공동 학습 프레임워크인 AlignKGC를 제안한다. 이는 공유 임bedding과 관계의 주체-객체 서명 백에 대한 새로운 비대칭 겹침 측정법을 활용한다. 다국어 DBPedia 데이터를 사용한 실험에서 KGC 분야에서 10–32 MRR 향상과 함께 EA 및 RA 분야에서도 뚜렷한 성능 향상을 기록하였으며, 다국어 지식 그래프에서 세 가지 작업 간 공동 최적화의 유용성을 입증한다.

ABSTRACT

Knowledge Graph Completion (KGC) predicts missing facts in an incomplete Knowledge Graph. Almost all of existing KGC research is applicable to only one KG at a time, and in one language only. However, different language speakers may maintain separate KGs in their language and no individual KG is expected to be complete. Moreover, common entities or relations in these KGs have different surface forms and IDs, leading to ID proliferation. Entity alignment (EA) and relation alignment (RA) tasks resolve this by recognizing pairs of entity (relation) IDs in different KGs that represent the same entity (relation). This can further help prediction of missing facts, since knowledge from one KG is likely to benefit completion of another. High confidence predictions may also add valuable information for the alignment tasks. In response, we study the novel task of jointly training multilingual KGC, relation alignment and entity alignment models. We present ALIGNKGC, which uses some seed alignments to jointly optimize all three of KGC, EA and RA losses. A key component of ALIGNKGC is an embedding based soft notion of asymmetric overlap defined on the (subject, object) set signatures of relations this aids in better predicting relations that are equivalent to or implied by other relations. Extensive experiments with DBPedia in five languages establish the benefits of joint training for all tasks, achieving 10-32 MRR improvements of ALIGNKGC over a strong state-of-the-art single-KGC system completion model over each monolingual KG . Further, ALIGNKGC achieves reasonable gains in EA and RA tasks over a vanilla completion model over a KG that combines all facts without alignment, underscoring the value of joint training for these tasks.

연구 동기 및 목표

• 다국어 지식 그래프에서 ID 증가 문제를 겪고, 다국어 지식을 활용하지 못하는 단일 언어 기반 단일 KGC 시스템의 한계를 해결하기 위해.
• 지식 그래프 완성(KGC), 실체 정합성(EA), 관계 정합성(RA)을 공동 최적화하여 이 세 작업 간의 상호보완적 효과를 극대화하기 위해.
• 다양한 언어에서 정합된 실체와 관계를 인덕티브 바이어스로 활용하여 KGC 성능을 향상시키기 위해.
• 다국어 간 관계의 동치성과 함의성을 캡처하기 위해 학습 가능한 임베딩 기반 비대칭 겹침 측정법을 도입하기 위해.
• 공동 학습이 KGC, EA, RA 세 작업을 동시에 향상시키며, 이들을 별도로 다루는 것과는 달리 통합적인 성능 향상을 이끌어내는지 입증하기 위해.

제안 방법

• AlignKGC는 실체 및 관계 임베딩을 위한 공유 인코더를 사용하여 KGC, EA, RA 손실을 공동 최적화하는 다중 작업 학습 프레임워크를 사용한다.
• 각 관계는 (주어, 목적어) 임베딩 쌍의 집합으로 표현되며, 사실 간의 구조적 패턴을 캡처하는 서명을 형성한다.
• 관계 서명 간 비교를 위해 새로운 소프트 비대칭 겹침 측정법을 도입하여, 서로 다른 언어 간에 동치되거나 함의되는 관계를 탐지할 수 있도록 한다.
• KGC(예: MRR 또는 hits@K), EA(임베딩 유사도 기반), RA(서명 겹침 기반)를 결합한 미분 가능한 손실 함수를 사용하여 시스템을 공동 학습한다.
• 초기 정합성 정보를 활용하여 정합 과정을 초기화하고, 전체 구성 요소를 동시에 개선하기 위해 엔드 투 엔드 백프로파게이션을 적용한다.
• 프레임워크는 다국어 DBPedia 슬라이스 5개를 대상으로 평가되었으며, 아블레이션 스터디를 통해 다양한 서명 매칭 전략(Jaccard, 비대칭, 소프트 비대칭)을 비교하였다.

실험 결과

연구 질문

• RQ1 다국어 KGC, 실체 정합성, 관계 정합성을 공동으로 학습할 경우, 별도 학습 대비 세 작업 전반에 걸쳐 성능 향상이 이루어지는가?
• RQ2 관계 서명 백에 대한 학습 가능한 비대칭 겹침 측정법은 서로 다른 언어 간에 동치되거나 함의되는 관계를 탐지하는 데 얼마나 효과적인가?
• RQ3 한 지식 그래프에서의 고신뢰도 KGC 예측은 다른 지식 그래프의 정합성 품질을 얼마나 향상시키는가?
• RQ4 (주어, 목적어) 서명 백의 구조적 정보를 통합할 경우, 이름이나 임베딩만 사용하는 것보다 관계 정합성 성능이 향상되는가?
• RQ5 다양한 서명 매칭 전략(예: Jaccard 대비 소프트 비대칭)은 KGC, EA, RA의 최종 성능에 어떤 영향을 미치는가?

주요 결과

• AlignKGC는 다국어 DBPedia에서 모든 다섯 언어에서 강력한 단일 언어 KGC 기반 모델 대비 10–32 MRR 향상을 기록하였으며, 이는 다국어 지식 전이를 통한 KGC 정확도 향상의 뚜렷한 증거이다.
• 소프트 비대칭 서명 매칭 변형은 가장 높은 KGC 성능을 기록하였으며, 다섯 언어에서 MRR 점수는 각각 82.9, 99.1, 89.9, 83.2, 98.6, 89.8, 83.1, 99.1, 90.0, 86.0, 99.7, 91.8, 83.3, 99.4, 90.3을 기록하였다.
• 실체 정합성 분야에서 AlignKGC(소프트 비대칭)는 HITS@1 45.3과 HITS@10 61.9을 기록하였으며, KGCunion 기반 모델(23.5 HITS@1, 42.8 HITS@10)보다 20점 이상 높은 성능을 보였다.
• 관계 정합성 분야에서 소프트 비대칭 변형은 500개 이상의 발생 빈도를 가진 관계에 대해 HITS@1 68.8을 기록하였으며, 기준 모델 대비 26점 향상되어 빈번한 관계에서 뛰어난 성능을 입증하였다.
• 공동 학습 프레임워크는 빈번한 관계의 정합성 성능 향상에 더 큰 기여를 하였으며, 빈번한 관계의 구조적 패턴이 더 효과적으로 포착되고 정합됨을 시사한다.
• KGC 손실만을 사용하는 모델들(예: Jaccard, 비대칭 Jaccard)도 EA 및 RA 성능을 크게 향상시켰으며, 이는 KGC만으로도 정합성 지원이 가능하지만, 공동 최적화가 추가적인 성능 향상을 이끌어낸다는 것을 보여준다.