[논문 리뷰] Semantic Entity Enrichment by Leveraging Multilingual Descriptions for Link Prediction

Genet Asefa Gesese, Mehwish Alam외 1명|arXiv (Cornell University)|2020. 04. 22.

Advanced Graph Neural Networks참고 문헌 17인용 수 4

한 줄 요약

이 논문은 기계 번역에 의존하지 않고 다국어 엔티티 설명을 활용하여 지식 그래프 임베딩(KGE) 모델의 링크 예측 성능을 향상시키는 방법을 제안한다. 다국어 단어 임베딩을 사용함으로써 단일 언어 임베딩이나 기계 번역에 의존하지 않고, 다양한 언어 간의 더 풍부한 의미 정보를 포착함으로써 엔티티 표현과 링크 예측 성능을 향상시킨다.

ABSTRACT

Most Knowledge Graphs (KGs) contain textual descriptions of entities in various natural languages. These descriptions of entities provide valuable information that may not be explicitly represented in the structured part of the KG. Based on this fact, some link prediction methods which make use of the information presented in the textual descriptions of entities have been proposed to learn representations of (monolingual) KGs. However, these methods use entity descriptions in only one language and ignore the fact that descriptions given in different languages may provide complementary information and thereby also additional semantics. In this position paper, the problem of effectively leveraging multilingual entity descriptions for the purpose of link prediction in KGs will be discussed along with potential solutions to the problem.

연구 동기 및 목표

• 기존 KGE 모델이 단일 언어 엔티티 설명만을 사용하여 다국어 설명이 제공하는 보완적인 의미 정보를 간과하는 한계를 해결한다.
• Freebase, DBpedia, Wikidata와 같은 지식 그래프에서 다국어 설명이 단일 언어 접근 방식을 초월해 링크 예측 성능을 향상시킬 수 있는 방식을 탐구한다.
• 기계 번역에 의존하지 않고 신경망 기반 KGE 모델에 다국어 설명을 효과적으로 통합하는 방법을 제안한다.
• 다국어 단어 임베딩(예: MUSE, cross-lingual Bilbowa)이 서로 다른 언어 간의 설명을 공유된 벡터 공간에 인코딩할 잠재력을 탐색한다.
• 다양한 언어의 엔티티 설명에서의 다국어 의미 신호를 포착함으로써 링크 예측 성능을 향상시킨다.

제안 방법

• 기존 KGE 모델(예: DKRL, Jointly)의 단일 언어 단어 임베딩을 다국어 단어 임베딩(예: MUSE)으로 대체하여 다국어 엔티티 설명을 인코딩한다.
• DKRL의 CNN 인코더를 수정하여 사전 학습된 다국어 단어 임베딩을 입력으로 받아들임으로써 다국어 의미 정렬을 유지한다.
• AGRUM(기존 KDCoE에서 유래)과 같은 다국어 텍스트 인코더를 사용하여 동시에 여러 언어의 설명을 처리하고, 다국어 의미 정렬을 활용한다.
• 기계 번역을 피하기 위해 의미적으로 유사한 단어가 서로 가까운 벡터 표현에 매핑되는 다국어 임베딩을 사용한다.
• 각 언어의 설명을 문서로 간주하고 공유된 임베딩 공간을 사용하여 다국어 설명을 KGE 모델에 통합한다.
• 어텐션 메커니즘 또는 평균화 기법을 사용하여 기존 KGE 프레임워크를 개선하여 구조적 삼중항과 다국어 텍스트 설명을 함께 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 지식 그래프의 다국어 엔티티 설명이 단일 언어 설명에 존재하지 않는 보완적인 의미 정보를 제공할 수 있는가?
• RQ2 KGE 모델에서 다양한 언어 간의 엔티티 설명을 효과적으로 다국어 단어 임베딩으로 인코딩할 수 있는가?
• RQ3 링크 예측 작업에서 다국어 설명을 사용할 경우 단일 언어 설명 대비 성능 향상은 어느 정도인가?
• RQ4 다국어 설명 인코딩에서 기계 번역을 피할 경우 오류 전파가 감소하고 KGE 품질이 향상되는가?
• RQ5 다국어 설명은 링크 예측 및 기타 지식 그래프 보완 작업에서 KGE 모델의 일반화 능력과 견고성에 어떤 영향을 미치는가?

주요 결과

• Freebase와 같은 지식 그래프의 다국어 엔티티 설명은 단일 언어 설명에 존재하지 않는 정보를 포함하며, 보완적인 의미를 제공한다.
• 기계 번역 대신 다국어 단어 임베딩을 사용함으로써 오류 전파가 감소하고 인코딩된 엔티티 설명의 품질이 향상된다.
• 다국어 임베딩를 통한 다국어 설명 통합은 KGE 모델의 엔티티 표현을 향상시켜 더 나은 링크 예측 성능을 이끌어낸다.
• DKRL 및 Jointly와 같은 모델은 단일 언어 임베딩을 다국어 임베딩으로 대체함으로써 다국어 의미 포착 능력을 향상시킬 수 있다.
• 이 방법은 삼중항 분류 및 엔티티 분류와 같은 다른 지식 그래프 보완 작업으로도 확장 가능하다.
• 향후 연구에서는 Wikidata 및 DBpedia와 같은 지식 그래프의 다국어 설명의 품질과 특성 분석을 통해 인코딩 전략을 더욱 최적화해야 한다.