[논문 리뷰] Knowledge Based Multilingual Language Model

Linlin Liu, Xin Li외 4명|arXiv (Cornell University)|2021. 11. 22.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 지식 기반 다국어 언어 모델(KMLM)을 제안하며, 이를 통해 다국어 위키데이터 지식 그래프를 활용해 합성된 코드 스위칭 및 추론 기반의 훈련 데이터를 생성한다. 문장 내 및 문장 간 사전 훈련 작업을 설계하여 KMLM은 다양한 언어 간 사실 지식과 논리 패턴을 학습하며, 명명된 실체 인식, 지식 검색, 관계 분류, 논리 추론을 포함한 다국어 자연어 처리(NLP) 과제에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Knowledge enriched language representation learning has shown promising performance across various knowledge-intensive NLP tasks. However, existing knowledge based language models are all trained with monolingual knowledge graph data, which limits their application to more languages. In this work, we present a novel framework to pretrain knowledge based multilingual language models (KMLMs). We first generate a large amount of code-switched synthetic sentences and reasoning-based multilingual training data using the Wikidata knowledge graphs. Then based on the intra- and inter-sentence structures of the generated data, we design pretraining tasks to facilitate knowledge learning, which allows the language models to not only memorize the factual knowledge but also learn useful logical patterns. Our pretrained KMLMs demonstrate significant performance improvements on a wide range of knowledge-intensive cross-lingual NLP tasks, including named entity recognition, factual knowledge retrieval, relation classification, and a new task designed by us, namely, logic reasoning. Our code and pretrained language models will be made publicly available.

연구 동기 및 목표

• 기존 지식 기반 언어 모델이 단일 언어 지식 그래프에만 의존하여 단일 언어에 국한되어 있다는 한계를 해결하기 위해.
• 위키데이터와 같은 다국어 지식 그래프에서 효과적으로 학습할 수 있는 다국어 언어 모델 사전 훈련 프레임워크를 개발하기 위해.
• 다국어 환경에서의 다국어 지식 전이와 논리적 추론을 가능하게 하는 고품질의 합성 훈련 데이터를 생성하기 위해.
• 다양한 언어 간 사실 지식과 논리적 추론 패턴을 모두 포괄하는 사전 훈련 작업을 설계하기 위해.
• 명명된 실체 인식, 사실 지식 검색, 관계 분류, 그리고 새로 도입된 논리 추론 과제를 포함한 다양한 지식 집약적인 다국어 NLP 과제에서 모델을 평가하기 위해.

제안 방법

• 프레임워크는 다국어 위키데이터 지식 그래프를 활용해 대규모의 합성 코드 스위칭 문장과 추론 기반 다국어 훈련 데이터를 생성한다.
• 문장 내 및 문장 간 사전 훈련 작업을 설계하여 다양한 언어 간 사실 지식과 논리적 추론 패턴을 모두 포착한다.
• 합성된 다국어 데이터로 사전 훈련을 수행하여 사실 지식과 관계 지식이 풍부한 다국어 표현을 학습한다.
• 생성된 데이터의 구조적 패턴에 중점을 두어 언어 및 과제 간 일반화 능력을 향상시킨다.
• 공유된 다국어 지식을 활용하여 다국어 다운스트림 과제에 대해 제로샷 및 피셔샷 전이를 지원한다.
• 최종 KMLM은 명명된 실체 인식, 사실 지식 검색, 관계 분류, 그리고 새로운 논리 추론 과제에서 평가된다.

실험 결과

연구 질문

• RQ1 위키데이터와 같은 다국어 지식 그래프에서 파생된 합성 데이터를 사용하여 다국어 언어 모델을 효과적으로 사전 훈련시킬 수 있는가?
• RQ2 그러한 모델이 사실 지식 외에도 다양한 언어 간 논리적 추론 패턴을 얼마나 잘 학습할 수 있는가?
• RQ3 KMLM은 다국어 지식 집약적인 NLP 과제에서 단일 언어 기반 지식 기반 모델보다 성능이 뛰어나게 되는가?
• RQ4 모델은 알려지지 않은 언어나 과제에서 제로샷 또는 피셔샷 설정으로 일반화할 수 있는가?
• RQ5 문장 내 및 문장 간 사전 훈련 작업이 다국어 환경에서 지식 유지력과 추론 능력에 어떤 영향을 미치는가?

주요 결과

• KMLM은 다국어 명명된 실체 인식 과제에서 단일 언어 기반 베이스라인을 능가하는 뚜렷한 성능 향상을 기록한다.
• 다양한 언어에서 사실 지식 검색 과제에서 뛰어난 성능을 보이며 효과적인 다국어 지식 전이 능력을 입증한다.
• 관계 분류 과제에서 뚜렷한 성능 향상을 보이며, 다국어 환경에서 관계 사실에 대한 이해가 향상되었음을 보여준다.
• 새로 도입된 논리 추론 과제에서 우수한 성능을 기록하여 다양한 언어 간 논리 패턴의 학습 및 적용 능력을 확인한다.
• 합성 데이터 생성 및 사전 훈련 작업 덕분에 모델는 사실 지식을 암기할 뿐 아니라 유용한 추론 구조를 학습한다.
• 프레임워크는 제로샷 및 피셔샷 설정에서 효과적이며, 언어 및 과제 간 강력한 일반화 능력을 보여준다.