[논문 리뷰] A Dual-Contrastive Framework for Low-Resource Cross-Lingual Named Entity Recognition

Yingwen Fu, Nankai Lin외 2명|arXiv (Cornell University)|2022. 04. 02.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 제한된 소스 언어 데이터와 그 번역본에서 번역 수준 및 레이블 수준의 대비 학습을 공동으로 최적화함으로써 성능을 향상시키는 이중 대비 프레임워크인 ConCNER를 제안한다. 이 방법은 다양한 저자원 대상 언어에서 최신 기술 성능을 달성하며, 비정답 대상 데이터에 대해 대비 학습과 지식 정복을 조합함으로써 여러 기준보다 뛰어나다.

ABSTRACT

Cross-lingual Named Entity Recognition (NER) has recently become a research hotspot because it can alleviate the data-hungry problem for low-resource languages. However, few researches have focused on the scenario where the source-language labeled data is also limited in some specific domains. A common approach for this scenario is to generate more training data through translation or generation-based data augmentation method. Unfortunately, we find that simply combining source-language data and the corresponding translation cannot fully exploit the translated data and the improvements obtained are somewhat limited. In this paper, we describe our novel dual-contrastive framework ConCNER for cross-lingual NER under the scenario of limited source-language labeled data. Specifically, based on the source-language samples and their translations, we design two contrastive objectives for cross-language NER at different grammatical levels, namely Translation Contrastive Learning (TCL) to close sentence representations between translated sentence pairs and Label Contrastive Learning (LCL) to close token representations within the same labels. Furthermore, we utilize knowledge distillation method where the NER model trained above is used as the teacher to train a student model on unlabeled target-language data to better fit the target language. We conduct extensive experiments on a wide variety of target languages, and the results demonstrate that ConCNER tends to outperform multiple baseline methods. For reproducibility, our code for this paper is available at https://github.com/GKLMIP/ConCNER.

연구 동기 및 목표

• 소스 언어의 레이블 데이터가 부족할 때 저자원 다국어 명명된 엔터티 인식의 과제를 해결하기 위해.
• 소스 언어 데이터와 그 번역본을 더 효과적으로 활용하여 모델의 일반화 능력을 향상시키기 위해.
• 문장 수준 및 토큰 수준에서의 대비 학습을 통해 저자원 환경에서의 성능 저하를 완화하기 위해.
• 다국어 데이터로 훈련된 교사 모델에서 유래한 지식 정복을 통해 대상 언어에 대한 적응을 향상시키기 위해.

제안 방법

• 소스 문장과 번역 문장 간 문장 수준 표현을 정렬하기 위해 번역 대비 학습(TCL)을 도입한다.
• 동일한 명명된 엔터티 레이블 내에서 소스 언어와 대상 언어 간 토큰 수준 표현을 정렬하기 위해 레이블 대비 학습(LCL)을 활용한다.
• TCL과 LCL을 동시에 최적화하는 이중 대비 목표를 사용하여 다국어 간 정렬과 분리 성능을 향상시킨다.
• 다국어 데이터로 훈련된 교사 모델이 비정답 대상 언어 데이터에 대해 학생 모델을 지도하도록 지식 정복을 적용한다.
• 대비 목표와 정복을 사용하여 학생 모델을 엔드 투 엔드로 훈련시켜 대상 언어 분포에 더 잘 맞춘다.
• 다국어 인코더 백본을 사용하여 다국어 전이와 표현 학습을 지원한다.

실험 결과

연구 질문

• RQ1 문장 수준 및 토큰 수준의 대비 학습을 공동 최적화하면 저자원 환경에서 다국어 NER 성능을 향상시킬 수 있는가?
• RQ2 기본적인 데이터 증강 및 피지테이닝 기준 대비로 제안된 이중 대비 프레임워크는 얼마나 효과적인가?
• RQ3 다국어 교사 모델에서 유래한 지식 정복은 비정답 대상 언어 데이터에서 성능 향상에 얼마나 기여하는가?
• RQ4 제한된 소스 애너테이션을 가진 다양한 저자원 대상 언어에 대해 이 프레임워크는 일반화 가능한가?
• RQ5 대비 학습과 정복의 조합이 다국어 NER에서의 데이터 부족 문제를 완화할 수 있는가?

주요 결과

• ConCNER는 표준 벤치마크 데이터셋에서 다양한 저자원 대상 언어에서 최신 기술 성능을 달성하며, 강력한 기준들을 능가한다.
• 이중 대비 목표는 단일 대비 또는 비대비 기준보다 뚜렷한 향상을 이끌어내며, 특히 저자원 환경에서 두드러진다.
• 레이블 대비 학습(LCL)이 번역 대비 학습(TCL)보다 성능 향상에 더 큰 기여를 하며, 세밀한 정렬의 중요성을 강조한다.
• 지식 정복은 비정답 대상 언어 데이터에서 제로샷 및 피샷 적응에 크게 기여하여 데이터가 부족한 상황에서의 효과성을 입증한다.
• 모델은 저자원 및 형태학적으로 복잡한 언어를 포함한 다양한 언어에서 뛰어난 일반화 능력을 보이며.
• 제거 실험을 통해 TCL과 LCL이 모두 필수적인 구성 요소임을 확인하였으며, 이들의 조합이 가장 뛰어난 성능을 낸다.