[논문 리뷰] Enhanced Meta-Learning for Cross-lingual Named Entity Recognition with Minimal Resources

Qianhui Wu, Zijia Lin외 5명|arXiv (Cornell University)|2019. 11. 14.

Topic Modeling참고 문헌 36인용 수 7

한 줄 요약

이 논문은 타겟 언어에 레이블이 전혀 없는 저자원 환경에서의 다국어 명명된 실체 인식(NER)을 위한 향상된 메타학습 프레임워크를 제안한다. 각 테스트 인스턴스에 대해 구조적이고 의미적으로 유사한 소스 언어 예시를 몇 개 검색하고, 이를 기반으로 메타학습된 모델을 미세조정함으로써, 기존의 최상위 성능(SOTA)을 상회하는 결과를 달성하며, 상대적 F1 점수 향상 폭이 최대 8.76%에 이른다.

ABSTRACT

For languages with no annotated resources, transferring knowledge from rich-resource languages is an effective solution for named entity recognition (NER). While all existing methods directly transfer from source-learned model to a target language, in this paper, we propose to fine-tune the learned model with a few similar examples given a test case, which could benefit the prediction by leveraging the structural and semantic information conveyed in such similar examples. To this end, we present a meta-learning algorithm to find a good model parameter initialization that could fast adapt to the given test case and propose to construct multiple pseudo-NER tasks for meta-training by computing sentence similarities. To further improve the model's generalization ability across different languages, we introduce a masking scheme and augment the loss function with an additional maximum term during meta-training. We conduct extensive experiments on cross-lingual named entity recognition with minimal resources over five target languages. The results show that our approach significantly outperforms existing state-of-the-art methods across the board.

연구 동기 및 목표

• 타겟 언어에 레이블 데이터가 전혀 없는 극도로 저자원 환경에서의 다국어 NER 도전 과제를 해결한다.
• 소스 언어 모델을 타겟 언어 예시에 그대로 적용하는 직접 전이 방법의 한계를 극복한다.
• 유사한 소스 예시로부터의 구조적 및 의미적 정보를 통합하여 다양한 언어 간의 일반화 능력을 향상시킨다.
• 메타학습을 통해 소수의 검색된 유사 예시만으로도 새로운 타겟 언어 테스트 인스턴스에 빠르게 적응할 수 있도록 한다.
• 소수의 작업 특화 데이터로도 신속한 미세조정이 가능한 강력한 초기화를 학습하는 메타학습 프레임워크를 개발한다.

제안 방법

• 소스 언어 예시 간 문장 유사도를 계산하여 구조적·의미적으로 유사한 쌍을 식별함으로써 메타학습을 위한 가짜-NER 작업을 구성한다.
• 다국어 BERT를 사용해 문장을 인코딩하고 코사인 유사도를 계산하여 각 타겟 테스트 인스턴스에 대해 관련 있는 소스 예시를 검색한다.
• 모델에 종속되지 않는 메타학습(MAML)을 적용하여, 소수의 검색된 예시에서 단 한 번 또는 몇 번의 경사 하강 단계만으로도 신속한 적응이 가능한 모델 초기화를 학습한다.
• 메타학습 중 마스킹 기법을 도입하여 다양한 언어 간의 강인성과 일반화 능력을 향상시킨다.
• 메타손실 함수에 최대값 항을 추가하여 모델이 가장 관련성이 높은 예시에 집중하고, 먼 예시에서 유도되는 노이즈를 줄이는 능력을 향상시킨다.
• 각 타겟 테스트 인스턴스의 추론 전에 검색된 유사 예시를 기반으로 메타학습된 모델을 미세조정함으로써 맥락 인식 기반의 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고자원 소스 언어에서 의미적·구조적으로 유사한 예시를 몇 개 검색함으로써 제로샷 다국어 NER 성능을 향상시킬 수 있는가?
• RQ2 문장 유사도 기반으로 구성된 가짜-NER 작업을 활용한 메타학습이 저자원 타겟 언어에서 더 빠르고 효과적으로 적응하는 데 기여하는가?
• RQ3 제안된 마스킹 기법과 수정된 손실 함수는 소수의 예시에서의 다국어 일반화 능력을 어떻게 향상시키는가?
• RQ4 제안된 방법은 최소 자원 및 저자원 다국어 NER 환경에서 기존 최상위 성능 기법들을 얼마나 뛰어넘는가?
• RQ5 레이블이 전혀 없는 저자원 언어에서 새로운 실체와 복잡한 언어적 구조에 대해 모델이 일반화할 수 있는가?

주요 결과

• 제안된 방법은 최소 자원 설정에서 다섯 개의 타겟 언어에서 기반 모델 대비 최대 8.76%의 상대적 F1 점수 향상을 달성한다.
• 저자원 설정에서 1%, 2%, 5%의 레이블 데이터를 사용할 경우, 모든 타겟 언어 평균으로 기반 모델 대비 F1 점수 평균 1.47점 향상된다.
• 기반 모델이 소스 데이터의 오해의 소재가 되는 패턴으로 오류를 범하는 경우인 'Secretaría General'을 ORG로, 'Edmond Thieffrylaan'을 LOC로 정확히 식별한다.
• 모델은 'Krauses'와 '奥纳西斯'와 같은 새로운 실체에 대해서도 표면 패턴이 아닌 맥락적 단서에 기반해 정확히 분류함으로써, 새로운 실체에 대한 일반화 능력이 뛰어나다.
• 제거 실험 결과, 마스킹 기법이나 손실 함수의 최대항을 제거할 경우 성능 저하가 발생함을 확인하여, 두 구성 요소의 효과성을 입증한다.
• 모든 타겟 언어 및 데이터 비율에서 강력한 베이스라인인 CL, ML, MLMT를 일관되게 능가함으로써, 강인성과 일반화 능력이 뛰어나다는 것을 입증한다.