[논문 리뷰] Multilingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment

Muhao Chen, Yingtao Tian외 2명|arXiv (Cornell University)|2016. 11. 12.

Advanced Graph Neural Networks참고 문헌 40인용 수 5

한 줄 요약

이 논문은 MTransE를 제안하며, 이는 TransE를 다국어 지식 그래프 임베딩으로 확장하여 번역 기반 방법을 사용해 언어 간 엔티티와 관계를 정렬하는 모델이다. 축 캘리브레이션, 번역 벡터 또는 선형 변환을 통한 다국어 간 전이를 학습함으로써 MTransE는 다국어 엔티티 매칭 및 삼중항 정렬에서 최신 기술 수준의 성능을 달성하면서도 단국어 지식 표현 품질을 유지한다.

ABSTRACT

Many recent works have demonstrated the benefits of knowledge graph embeddings in completing monolingual knowledge graphs. Inasmuch as related knowledge bases are built in several different languages, achieving cross-lingual knowledge alignment will help people in constructing a coherent knowledge base, and assist machines in dealing with different expressions of entity relationships across diverse human languages. Unfortunately, achieving this highly desirable crosslingual alignment by human labor is very costly and errorprone. Thus, we propose MTransE, a translation-based model for multilingual knowledge graph embeddings, to provide a simple and automated solution. By encoding entities and relations of each language in a separated embedding space, MTransE provides transitions for each embedding vector to its cross-lingual counterparts in other spaces, while preserving the functionalities of monolingual embeddings. We deploy three different techniques to represent cross-lingual transitions, namely axis calibration, translation vectors, and linear transformations, and derive five variants for MTransE using different loss functions. Our models can be trained on partially aligned graphs, where just a small portion of triples are aligned with their cross-lingual counterparts. The experiments on cross-lingual entity matching and triple-wise alignment verification show promising results, with some variants consistently outperforming others on different tasks. We also explore how MTransE preserves the key properties of its monolingual counterpart TransE.

연구 동기 및 목표

• 수동으로 수행할 경우 비용이 많이 들고 오류가 발생하기 쉬운 다국어 지식 그래프 간의 다국어 지식 정렬 문제를 해결하기 위해.
• 엔티티 및 관계 임베딩 간의 다국어 간 전이를 학습함으로써 TransE와 같은 단국어 지식 그래프 임베딩 모델을 다국어 데이터를 처리할 수 있도록 확장하기 위해.
• 축 캘리브레이션, 번역 벡터, 선형 변환과 같은 세 가지 다국어 간 전이 기법의 성능을 정렬 작업에 대해 평가하기 위해.
• 다국어 모델이 단국어 대응 모델인 TransE의 핵심 특성을 다국어 작업에서 유지할 수 있도록 하기 위해.
• 소수의 삼중항만 정렬된 부분적으로 정렬된 지식 그래프에서 학습하는 것이 가능한지 탐색하기 위해.

제안 방법

• MTransE는 각 언어에 대해 별도의 임베딩 공간을 사용하며, TransE 기반 지식 모델을 통해 단국어 지식 그래프의 구조를 유지한다.
• 엔티티 및 관계 임베딩 간의 다국어 간 전이를 학습하는 정렬 모델을 도입한다.
• 세 가지 기법을 사용해 다국어 간 전이를 표현한다: 축 캘리브레이션, 번역 벡터, 선형 변환.
• 이 기법들을 다양한 손실 함수와 조합함으로써 다섯 가지 MTransE 변종을 유도하며, 부분적으로 정렬된 그래프에서 엔드 투 엔드 학습이 가능하도록 한다.
• 지식 및 정렬 구성 요소의 공동 최적화를 가능하게 하기 위해 단국어 삼중항 손실과 다국어 정렬 손실의 조합을 사용해 모델을 학습한다.
• 정렬 모델은 소량의 정렬된 삼중항에서 학습되며, 이로 인해 제로샷 또는 희소한 다국어 전이가 가능해진다.

실험 결과

연구 질문

• RQ1 번역 기반 모델이 다국어 지식 그래프 임베딩 간의 다국어 간 전이를 효과적으로 학습할 수 있는가?
• RQ2 축 캘리브레이션, 번역 벡터, 선형 변환 중 세 가지 다국어 간 전이 기법 중 어느 것이 다국어 정렬 작업에서 가장 높은 성능을 낼 수 있는가?
• RQ3 다국어 모델이 단국어 지식 보완 작업에서 단국어 대응 모델(TransE)의 성능을 어느 정도 유지하는가?
• RQ4 언어 간 삼중항의 소수의 부분만 정렬되어 있을 경우 모델의 성능은 어떻게 되는가?
• RQ5 엔티티 전용 변환 외에 관계 전용 변환을 포함하면 정렬 성능이 향상되는가?

주요 결과

• 선형 변환 기반 MTransE 변종(Variant 4)은 모든 설정에서 다국어 엔티티 매칭 및 삼중항 수준의 정렬 검증에서 다른 변종보다 뚜렷이 뛰어나며, 모든 설정에서 최고의 정확도를 기록한다.
• 관계 전용 변환을 포함한 Var 5는 Var 4와 거의 유사한 성능(0.85% 이내의 차이)을 보이며, 엔티티 수준의 변환만으로도 효과적인 정렬이 가능하다는 것을 시사한다.
• 축 캘리브레이션 변종(Variant 2)은 성능이 뚜렷이 열등하며, 최고 성능 변종 대비 4.12%에서 8.44%까지 성능 저하를 보이며, 이는 다국어 정렬에 대해 덜 효과적임을 시사한다.
• 선형 변환 기반 MTransE는 음성 케이스 테스트(영어-프랑스어, WK3l-15k)에서 98.57%의 정확도를 기록하며, OT 및 기타 베이스라인을 능가한다.
• 꼬리 예측 및 관계 예측과 같은 단국어 작업에서 MTransE 변종(Variant 1, Variant 4, Variant 5)은 TransE와 동일하거나 이를 초월하는 성능을 보이며, 정렬 과정이 단국어 표현 품질을 떨어뜨리지 않음을 입증한다.
• 엔티티의 15%만 정렬되어 있어도 모델이 강력한 성능을 유지하며, 훈련 데이터의 부분적 정렬에 대해 뛰어난 내구성을 보인다.