[논문 리뷰] CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation

Jian Yang, Shaohan Huang외 7명|arXiv (Cornell University)|2022. 10. 13.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 다국어 레이블링 시퀀스 번역을 활용하여 고자원 언어에서 저자원 언어로 지식을 전이하는 제로샷 다국어 NER 프레임워크인 CroP을 제안한다. 타겟 문장을 원본 언어로 번역하고, 원본 언어 NER 모델로 태깅한 후 레이블 투영을 통해 역번역함으로써 CroP은 XTREME-40 및 CoNLL-5 벤치마크에서 강력한 기준 모델보다 F1 점수를 3–7 포인트 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Named entity recognition (NER) suffers from the scarcity of annotated training data, especially for low-resource languages without labeled data. Cross-lingual NER has been proposed to alleviate this issue by transferring knowledge from high-resource languages to low-resource languages via aligned cross-lingual representations or machine translation results. However, the performance of cross-lingual NER methods is severely affected by the unsatisfactory quality of translation or label projection. To address these problems, we propose a Cross-lingual Entity Projection framework (CROP) to enable zero-shot cross-lingual NER with the help of a multilingual labeled sequence translation model. Specifically, the target sequence is first translated into the source language and then tagged by a source NER model. We further adopt a labeled sequence translation model to project the tagged sequence back to the target language and label the target raw sentence. Ultimately, the whole pipeline is integrated into an end-to-end model by the way of self-training. Experimental results on two benchmarks demonstrate that our method substantially outperforms the previous strong baseline by a large margin of +3~7 F1 scores and achieves state-of-the-art performance.

연구 동기 및 목표

• 저자원 언어에서 애너테이션된 학습 데이터 부족으로 인한 저자원 명명된 실체 인식 문제를 해결한다.
• 약한 번역 또는 레이블 투영에 의존하는 기존 다국어 NER 방법의 한계를 극복한다. 이는 성능 저하를 초래한다.
• 비라벨링 타겟 언어 코퍼스를 활용하고, 라운드트립 번역 파이프라인에 자기학습을 통합하여 지식 전이를 향상시킨다.
• 구어어휘적 거리가 먼 언어 간에도 다국어 시퀀스 번역과 어휘 수준의 정렬을 통해 효과적인 제로샷 전이를 가능하게 한다.
• 다국어 번역, NER 태깅, 레이블 투영을 통합한 종단간 다국어 NER를 위한 견고한 프레임워크를 개발한다.

제안 방법

• 다국어 번역 모델을 사용하여 비라벨링 타겟 언어 문장을 원본 언어로 번역한다.
• 사전 훈련된 원본 언어 NER 모델로 번역된 원본 언어 문장을 태깅하여 가짜 레이블링 시퀀스를 생성한다.
• 다국어 레이블링 시퀀스 번역 모델을 사용하여 태깅된 원본 언어 시퀀스를 타겟 언어로 역번역하면서 실체 레이블을 유지한다.
• 어휘 수준의 정렬을 기반으로 단어 수준의 일치를 통해 백번역된 시퀀스의 실체 레이블을 원본 타겟 문장에 투영한다.
• 자기학습을 통합하여 예측을 정교화하고 강건성을 향상시키기 위해 전체 파이프라인을 종단간 모델로 통합한다.
• 경계 토큰으로 표시된 대응 스파이크를 포함한 다국어 병렬 코퍼스에서 레이블링 시퀀스 번역 모델을 훈련하며, 어휘 수준의 정렬 정보를 안내로 사용한다.

실험 결과

연구 질문

• RQ1 다국어 레이블링 시퀀스 번역 모델은 제로샷 설정에서 고자원 언어에서 저자원 언어로 NER 지식을 효과적으로 전이할 수 있는가?
• RQ2 라운드트립 번역 및 레이블 투영 파이프라인은 직접 전이 또는 표준 데이터 기반 전이와 비교해 다국어 NER에서 어떻게 성능을 냅니다?
• RQ3 타겟 언어에 레이블이 전혀 없는 상황에서 이 방법은 언어적 거리가 먼 언어 쌍으로도 얼마나 일반화될 수 있는가?
• RQ4 자기학습은 정적 파이프라인에 비해 종단간 CroP 프레임워크의 성능을 얼마나 향상시키는가?
• RQ5 어휘 수준의 정렬과 다국어 병렬 데이터를 사용할 경우, 레이블 투영의 정확도와 최종 NER 성능에 어떤 영향을 미치는가?

주요 결과

• CroP은 XTREME-40(40개 언어) 및 CoNLL-5(5개 언어) 벤치마크에서 최신 기술 수준의 성능을 달성하며, 강력한 기준 모델보다 F1 점수를 3–7 포인트 향상시켰다.
• XTREME-40에서는 평균 F1 점수 79.8, CoNLL-5에서는 평균 F1 점수 53.8을 기록했으며, 특히 거리가 먼 언어 쌍에서 뚜렷한 향상이 있었고, 이는 효과적인 다국어 지식 전이를 시사한다.
• 자기학습을 통한 성능 향상은 비자기학습 버전 대비 평균 1.2 F1 포인트 향상으로, 반복적 정밀 조정의 효과를 입증한다.
• 다국어 레이블링 시퀀스 번역 모델은 특히 대응 스파이크와 어휘 수준의 정렬을 사용할 경우 레이블 투영 정확도를 크게 향상시킨다.
• 백번역 문장과 원본 문장 간 어휘 수준의 일치를 기반으로 한 실체 매칭은 90%의 경우에 레이블을 성공적으로 투영하여 가짜 레이블의 노이즈를 감소시켰다.
• 언어 계열이 다양한 언어 쌍, 예를 들어 영어에서 일본어 또는 중국어로의 전이에서도 강력한 성능을 유지하여, 다양한 언어 가족 간의 강건성을 입증했다.