[논문 리뷰] Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment

Bing Li, Yujie He외 1명|arXiv (Cornell University)|2021. 01. 26.

Topic Modeling참고 문헌 29인용 수 14

한 줄 요약

이 논문은 XLM-RoBERTa를 사용하여 영어 병렬 문장에서 대상 언어로 엔티티를 정렬함으로써 번역 없이도 고품질의 가짜 레이블 트레이닝 데이터를 생성하는 새로운 제로샷 다국어 NER 접근법을 제안한다. 이 방법은 다국어 표현 학습과 노이즈 인식 손실 함수를 활용하여 노이즈가 있는 레이블의 영향을 줄임으로써 네 가지 언어에서 경쟁적인 F1 스코어를 달성한다.

ABSTRACT

We propose a novel approach for cross-lingual Named Entity Recognition (NER) zero-shot transfer using parallel corpora. We built an entity alignment model on top of XLM-RoBERTa to project the entities detected on the English part of the parallel data to the target language sentences, whose accuracy surpasses all previous unsupervised models. With the alignment model we can get pseudo-labeled NER data set in the target language to train task-specific model. Unlike using translation methods, this approach benefits from natural fluency and nuances in target-language original corpus. We also propose a modified loss function similar to focal loss but assigns weights in the opposite direction to further improve the model training on noisy pseudo-labeled data set. We evaluated this proposed approach over 4 target languages on benchmark data sets and got competitive F1 scores compared to most recent SOTA models. We also gave extra discussions about the impact of parallel corpus size and domain on the final transfer performance.

연구 동기 및 목표

• 병렬 문장어를 활용한 제로샷 전이를 통해 다국어 NER의 높은 레이블링 비용 문제를 해결하기 위해.
• 어휘 수준의 정렬에서 어색함과 구조적 불일치로 인해 문제가 되는 번역 기반 방법의 한계를 극복하기 위해.
• 수동으로 설계된 특징 없이도 XLM-RoBERTa로부터 유력한 다국어 표현을 활용하여 엔티티 정렬을 종단 간(end-to-end)으로 수행하기 위해.
• 노이즈가 있는 가짜 레이블 데이터에 대한 트레이닝의 강건성을 향상시키기 위해 새로운 재가중 손실 함수를 도입하기 위해.
• 병렬 문장어의 도메인과 크기가 다국어 NER 전이 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 영어 레이블이 부여된 데이터에서 NER 모델을 학습한 후, 병렬 문장어의 영어 쪽에 적용하여 엔티티 예측을 생성한다.
• XLM-RoBERTa를 사용하여 언어 간 엔티티를 정렬하고, 영어에서의 레이블을 대상 언어로 투영한다.
• 병렬 문장에서 정렬된 엔티티 스팬을 사용하여 대상 언어의 가짜 레이블 NER 데이터셋을 구성한다.
• 수정된 손실 함수를 사용하여 가짜 레이블이 부여된 대상 언어 데이터에 대해 다국어 모델(예: mBERT 또는 XLM-R)을 피지컬 튜닝한다.
• 포칼 손실에 영감을 받은 새로운 재가중 손실 함수를 도입하며, 이는 어려운 예측을 낮게 가중하여 노이즈 영향을 줄인다.
• 뉴스, 자막, 위키백과 등 다양한 도메인의 병렬 데이터를 조합하여 일반화 능력을 향상시키고 엔티티 분포의 변화를 다루기 위해 사용한다.

실험 결과

연구 질문

• RQ1 XLM-RoBERTa 기반 정렬이 이전의 비지도 학습 또는 히우리스틱 방법보다 제로샷 다국어 NER에서 더 우수한 성능을 내는가?
• RQ2 제안된 재가중 손실 함수는 노이즈가 있는 가짜 레이블 데이터에서 모델 수렴과 성능을 어떻게 향상시키는가?
• RQ3 병렬 문장어의 도메인이 전이된 NER 모델의 품질에 어느 정도 영향을 미치는가?
• RQ4 여러 병렬 문장어 도메인을 조합하면 단일 도메인 데이터보다 평균 성능이 더 우수한가?
• RQ5 병렬 데이터의 크기와 도메인 다양성이 저자원 언어 간 전이 성능에 어떻게 영향을 미치는가?

주요 결과

• 제안된 방법은 네 가지 대상 언어에서 경쟁적인 F1 스코어를 달성하였으며, 제로샷 다국어 NER에서 이전의 모든 비지도 학습 모델을 능가하였다.
• CoNLL2002 독일어 NER 벤치마크에서 재가중 손실를 사용한 순차적 피지컬 튜닝으로 F1 스코어 74.6을 기록하였으며, 전이 없이 학습한 경우(F1=72.1)와 표준 교차 엔트로피 피지컬 튜닝(F1=72.7)보다 뛰어났다.
• 여러 병렬 문장어 도메인(예: 뉴스, 자막, 위키백과)의 조합이 테스트 세트 전체에서 가장 우수한 평균 성능을 보였으며, 단일 도메인 데이터보다 뛰어났다.
• 뉴스 도메인 병렬 데이터는 도메인 유사성과 일치하여 인민일보 테스트 세트에서 가장 우수한 성능을 보였으며, OpenSubtitles는 공식 텍스트에서 엔티티 밀도와 스타일의 불일치로 인해 성능이 열 劣했다.
• 제거 실험 결과, 영어에서의 사전학습과 가짜 레이블이 부여된 대상 언어 데이터에서의 피지컬 튜닝이 모두 필수적임을 확인하였으며, 재가중 손실이 순차적 학습에서 뛰어난 성능을 보였다.
• 영어와 가짜 레이블이 부여된 독일어 데이터를 동시에 학습시켰을 때는 성능이 열 劣한 것으로 나타났으며, 이는 대상 언어 데이터의 노이즈 노출도가 더 높아서일 가능성이 있다.