[논문 리뷰] mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models

Ryokan Ri, Ikuya Yamada외 1명|arXiv (Cornell University)|2021. 10. 15.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 교차 언어 간 전이 성능을 향상시키기 위해 실체 표현을 통합한 다국어 언어 모델 mLUKE을 소개한다. 사전 훈련 및 미세조정 과정에서 단어와 실체 임베딩을 모두 활용함으로써, mLUKE는 다국어 QA, NER 및 관계 추출 작업에서 뛰어난 성능을 달성하며, 언어에 관계없이 실체 특징을 활용함으로써 제로샷 클로즈 태스크에서 언어 편향을 감소시킨다.

ABSTRACT

Recent studies have shown that multilingual pretrained language models can be effectively improved with cross-lingual alignment information from Wikipedia entities. However, existing methods only exploit entity information in pretraining and do not explicitly use entities in downstream tasks. In this study, we explore the effectiveness of leveraging entity representations for downstream cross-lingual tasks. We train a multilingual language model with 24 languages with entity representations and show the model consistently outperforms word-based pretrained models in various cross-lingual transfer tasks. We also analyze the model and the key insight is that incorporating entity representations into the input allows us to extract more language-agnostic features. We also evaluate the model with a multilingual cloze prompt task with the mLAMA dataset. We show that entity-based prompt elicits correct factual knowledge more likely than using only word representations. Our source code and pretrained models are available at https://github.com/studio-ousia/luke.

연구 동기 및 목표

• 실체 표현이 다국어 언어 모델에서 교차 언어 간 전이 성능을 향상시키는지 조사하는 것.
• 사전 훈련을 초월해 실체 표현을 다운스트림 작업에 명시적으로 활용할 수 있는 방법을 탐색하는 것.
• 실체 기반 프롬프트가 다국어 클로즈 태스크에서 언어 편향을 줄이는지 평가하는 것.
• 실체 표현이 단어 표현보다 더 언어에 관계없이 일반적인 특징을 추출하는지 분석하는 것.
• 실체 인식 훈련 및 추론을 고려한 LUKE의 다국어 확장 버전을 제공하는 것.

제안 방법

• 위키피디아 실체 링크를 사용해 24개 언어에서 마스크된 언어 모델링(MLM)과 마스크된 실체 예측(MEP)을 수행한 다국어 BERT 기반 모델을 사전 훈련한다.
• 검출된 실체 토큰을 입력에 추가하여 입력 시퀀스에 실체 표현을 통합함으로써, 모델이 단어와 실체 양쪽에 주의를 기울일 수 있도록 한다.
• 다운스트림 작업(예: NER, 관계 추출, QA)에 사용하기 위해 실체 [MASK] 토큰의 문맥 기반 표현을 언어에 관계없이 일반적인 특징으로 사용한다.
• 클로즈 태스크에서 실체 기반 프롬프트를 적용하기 위해 실체 [MASK] 토큰을 사용해 모델에 질문을 던져 실체 어휘에서 사실 지식을 유도한다.
• 실체 임베딩을 다국어 지식 기반에서 초기화하고, MLM과 MEP를 조합한 공동 목적함수를 사용해 모델을 훈련한다.
• 단어 기반 및 실체 강화 입력 형식을 모두 사용해 교차 언어 간 전이 작업에서 mLUKE를 미세조정한다.

실험 결과

연구 질문

• RQ1 실체 표현이 다국어 모델에서 교차 언어 간 전이 성능을 향상시키는가?
• RQ2 실체 표현을 사용할 경우 제로샷 다국어 프롬프팅에서 언어 편향이 감소하는가?
• RQ3 다운스트림 NLP 작업에서 실체 기반 특징과 단어 기반 특징은 어떻게 비교되는가?
• RQ4 실체 [MASK] 토큰은 언급 수준 분류 작업에 효과적인 특징 추출기로 기능할 수 있는가?
• RQ5 실체 표현이 언어에 관계없이 일반적인 표현을 학습하는 데 얼마나 기여하는가?

주요 결과

• mLUKE-E(실체 강화)는 XQuAD와 MLQA에서 mBERT와 mLUKE-W(단어 기반)를 능가하며, 제로샷 교차 언어 간 QA에서 XQuAD에서 78.5 F1, MLQA에서 76.1 F1의 성능을 기록한다.
• RELX와 CoNLL NER 태스크에서 mLUKE-E는 각각 78.2 F1와 89.1 F1의 성능을 기록하며, 단어 기반 기준 모델보다 일관된 성능 향상을 보였다.
• 클로즈 프롬프트 태스크에서 mLUKE-E의 상위 1개 오답 비율은 프랑스어에서 27%, 일본어에서 44%, 이탈리아어에서 30%였으며, 이는 mBERT의 프랑스어에서의 71%보다 유의미하게 낮아 언어 편향이 감소했다는 것을 시사한다.
• 실체 기반 프롬프트는 특히 자원이 적은 언어에서 단어 기반 프롬프트보다 더 신뢰성 있게 정확한 사실 지식을 유도한다.
• 분석 결과 실체 표현이 더 언어에 관계없이 일반적인 특징을 추출함을 확인했으며, 이는 제로샷 전이 성능 향상과 언어 특화 예측의 지배력 감소로 뒷받침된다.
• 모델는 실체 표현이 사전 훈련뿐만 아니라 명시적인 다운스트림 특징 추출에서도 효과적임을 보였으며, 특히 실체 [MASK] 표현을 질의 가능한 특징으로 사용할 경우 두드러진 성능 향상을 보였다.