[논문 리뷰] Neural Cross-Lingual Transfer and Limited Annotated Data for Named Entity Recognition in Danish

Barbara Plank|arXiv (Cornell University)|2020. 03. 05.

Topic Modeling참고 문헌 18인용 수 5

한 줄 요약

이 논문은 영어 사전 훈련 모델과 최소한의 현지 언어로 된 주석 데이터를 사용하여 덴마크어 명명된 엔티티 인식(NER)을 위한 신경 신규 언어 간 전이 방법을 제안한다. 단지 5,000~10,000개의 골드 레이블이 부여된 덴마크어 문장에 대해 BiLSTM 모델을 미세 조정하고 다국어 단어 임베딩을 활용함으로써, 개발 세트에서 F1 스코어 70.8%를 달성하였다. 이는 제로샷 전이와 기존 시스템을 뛰어넘는 성과이며, 제한된 주석 데이터와 신규 언어 간 전이를 조합함으로써 덴마크어의 저자원 NER에 매우 효과적인 접근임을 보여준다.

ABSTRACT

Named Entity Recognition (NER) has greatly advanced by the introduction of deep neural architectures. However, the success of these methods depends on large amounts of training data. The scarcity of publicly-available human-labeled datasets has resulted in limited evaluation of existing NER systems, as is the case for Danish. This paper studies the effectiveness of cross-lingual transfer for Danish, evaluates its complementarity to limited gold data, and sheds light on performance of Danish NER.

연구 동기 및 목표

• 덴마크어 NER를 위한 공개 가능하고 고품질의 주석 데이터 부족으로 인해 기존 시스템의 실증적 평가가 어렵다는 문제를 해결하기 위해.
• 저자원 덴마크어 NER를 위한 영어 NER 모델에서의 신규 언어 간 전이의 효과성을 평가하기 위해.
• 제로샷 전이, 현지 언어 데이터를 활용한 소량 학습, 그리고 미세 조정 전략을 비교하여 덴마크어 NER 성능 향상에 기여하는 방법을 분석하기 위해.
• 미래 연구를 지원하기 위해 공개 가능한 덴마크어 NER 데이터셋과 벤치마크를 제공하기 위해.

제안 방법

• CoNLL 2003 지침에 따라 유니버설 디펜던시 트리뱅크의 덴마크어 섹션에 대해 명명된 엔티티(PER, LOC, ORG, MISC)를 주석 처리하여, 상호 주석자 간 일致도(Cohen’s kappa)가 0.9에 도달하였다.
• 중간 크기(3.2k 문장)와 대규모(14k 문장) 설정으로 영어 CoNLL 2003 데이터에서 BiLSTM 기반 신경 NER 모델을 훈련시켰다.
• 다국어 단어 임베딩(Polyglot)을 통해 모델를 초기화하여 영어에서 덴마크어로의 신규 언어 간 전이를 구현함으로써 제로샷 및 소량 학습을 가능하게 하였다.
• 네 가지 전이 전략을 평가: 제로샷 전이, Polyglot 초기화를 통한 현지 언어 훈련, 영어 및 덴마크어 데이터를 함께 훈련, 영어에서 사전 훈련한 후 덴마크어에서의 미세 조정.
• 소량의 현지 언어 훈련 세트(5,000 및 10,000 토큰)를 사용하여 소량 학습과 제로샷 전이를 비교하고 데이터 양의 영향을 평가하였다.
• 개발 및 테스트 세트에서 F1 스코어를 사용하여 성능을 평가하였으며, 각 명명된 엔티티 유형별 분석도 수행하였다.

실험 결과

연구 질문

• RQ1 기존 영어 자원에서 얼마나 효과적으로 NER 태거를 덴마크어로 전이할 수 있는가?
• RQ2 소량의 현지 언어 데이터를 주석 처리하는 것(제로샷 대비 소량 학습)과 비교해 신규 언어 간 전이의 성능은 어떻게 되는가?
• RQ3 제한된 골드 데이터와 함께 신규 언어 간 전이를 사용할 경우 덴마크어 NER 시스템의 정확도는 어느 정도인가?
• RQ4 소량 학습 환경에서, 미세 조정이 공동 훈련 또는 직접 전이보다 성능이 뛰어나게 되는가?
• RQ5 중간 크기의 소스 데이터와 대규모 소스 데이터 중 어느 것이 덴마크어 NER의 신규 언어 간 전이에서 더 높은 성능을 낼 수 있는가?

주요 결과

• 중간 크기의 소스 데이터를 사용하여 영어에서 제로샷 전이를 수행한 결과, 개발 세트에서 F1 스코어 58.29%를 달성하였으며, 미세한 현지 언어 데이터에서부터 학습하는 것보다 뛰어난 성능을 보였다.
• 영어에서 사전 훈련한 후 덴마크어에서 모델을 미세 조정하는 것은 공동 훈련보다 성능이 열등하여, 공동 학습이 순차적 적응보다 더 효과적임을 시사하였다.
• 전이 과정에 단지 10,000개의 현지 언어 문장을 추가함으로써 대규모 소스 설정에서 F1 스코어가 70.82%로 상승하였으며, 이는 제한된 골드 데이터와 신규 언어 간 전이의 강력한 상호보완성을 보여주었다.
• 성능이 가장 뛰어난 시스템은 중간 크기의 영어 소스 데이터와 10,000개의 현지 언어 덴마크어 문장을 조합하여 개발 세트에서 F1 스코어 70.82%를 기록하였고, 테스트 세트에서는 66.0%의 성능을 달성하였다.
• 모든 엔티티 유형에서 신경 BiLSTM 모델이 Polyglot 및 DKIE 시스템을 모두 압도하였으며, LOC를 제외한 모든 유형에서 승리하였다.
• 엔티티 유형별 분석 결과, BiLSTM 모델은 PER에 대해 83.3% F1, ORG에 대해 71.8% F1, MISC에 대해 60.0% F1을 기록하여 빈도가 높은 엔티티 유형에서 뛰어난 성능을 보였다.