[논문 리뷰] Towards Lingua Franca Named Entity Recognition with BERT

Taesun Moon, Parul Aswathy외 2명|arXiv (Cornell University)|2019. 11. 19.

Topic Modeling참고 문헌 16인용 수 27

한 줄 요약

이 논문은 여러 언어에서 공동으로 훈련된 다국어 BERT 기반 명명된 실체 인식(NER) 모델을 제안하며, CoNLL 네덜란드어 및 스페인어, OntoNotes 아랍어 및 중국어 데이터셋에서 최고 성능을 기록한다. 공동 훈련이 미리 보지 않은 언어에 대한 제로샷 추론 성능을 향상시킴을 보여주며, 단일 모델을 유지하면서 언어 간 일관된 추론 비용을 유지하면서까지도 최대 17.8 F1 포인트의 향상을 기록한다.

ABSTRACT

Information extraction is an important task in NLP, enabling the automatic extraction of data for relational database filling. Historically, research and data was produced for English text, followed in subsequent years by datasets in Arabic, Chinese (ACE/OntoNotes), Dutch, Spanish, German (CoNLL evaluations), and many others. The natural tendency has been to treat each language as a different dataset and build optimized models for each. In this paper we investigate a single Named Entity Recognition model, based on a multilingual BERT, that is trained jointly on many languages simultaneously, and is able to decode these languages with better accuracy than models trained only on one language. To improve the initial model, we study the use of regularization strategies such as multitask learning and partial gradient updates. In addition to being a single model that can tackle multiple languages (including code switch), the model could be used to make zero-shot predictions on a new language, even ones for which training data is not available, out of the box. The results show that this model not only performs competitively with monolingual models, but it also achieves state-of-the-art results on the CoNLL02 Dutch and Spanish datasets, OntoNotes Arabic and Chinese datasets. Moreover, it performs reasonably well on unseen languages, achieving state-of-the-art for zero-shot on three CoNLL languages.

연구 동기 및 목표

• 다양한 언어에서 공동으로 훈련한 단일 다국어 NER 모델이 단일 언어 모델보다 우수한 성능을 낼 수 있는지 조사한다.
• 다중 작업 학습과 부분적 기울기 업데이트와 같은 정규화 기법이 다국어 NER 성능 향상에 얼마나 효과적인지 평가한다.
• 일부 언어에 대해 미세조정된 단일 모델을 통해 새로운 언어에 대한 제로샷 NER을 가능하게 한다.
• 다양한 언어 간 통합 아키텍처를 사용함으로써 모델 배포 및 유지보수를 단순화한다.
• 클로즈 예측 및 언어 식별과 같은 보조 작업을 통해 일반화 및 제로샷 전이 성능을 향상시킨다.

제안 방법

• 영어, 독일어, 스페인어, 네덜란드어 CoNLL 데이터셋의 공동 NER 주석을 기반으로 다국어 BERT 베이스 모델을 미세조정한다.
• 과적합을 막고 일반화 성능을 향상시키기 위해 미세조정 중 BERT 레이어의 수를 다양하게 동결함으로써 부분적 기울기 업데이트를 적용한다.
• 훈련 중 간접적인 정규화를 제공하기 위해 보조 작업으로 클로즈 예측, 언어 식별(LI), 예측 클로즈(PC)를 도입한다.
• 클로즈 작업에서 높은 메모리 요구량을 고려해 장문의 시퀀스를 길이 64의 겹치는 청크로 분할한다.
• 클로즈 작업에 대해 마스킹 확률을 0.15로 설정하며, 이는 원본 BERT 논문과 일관된다.
• 다섯 개의 랜덤 시드에 대해 개발 세트에서의 F1 점수 평균을 기반으로 각 언어별로 최고의 모델을 선택한다.

실험 결과

연구 질문

• RQ1 여러 언어에서 공동으로 훈련된 단일 다국어 NER 모델이 단일 언어 모델보다 더 높은 성능을 낼 수 있는가?
• RQ2 클로즈 예측 및 언어 식별과 같은 보조 작업을 통합하면 제로샷 NER 성능이 향상되는가?
• RQ3 예를 들어 영어에 대해 미세조정된 모델이 네덜란드어, 독일어, 스페인어와 같이 미리 보지 않은 언어에 대해 얼마나 잘 일반화되는가?
• RQ4 부분적 기울기 업데이트(예: BERT 레이어 동결)는 다양한 언어 간 모델 성능에 어떤 영향을 미치는가?
• RQ5 동일한 모델 아키텍처가 서로 다른 스크립트와 언어 계열을 가진 다양한 언어에서 최고 성능을 낼 수 있는가?

주요 결과

• 다국어 모델은 CoNLL 네덜란드어(78.61) 및 스페인어(73.62)에서 최고 성능의 F1 점수를 기록하며, 단일 언어 기반 모델을 초월한다.
• OntoNotes에서 아랍어 및 중국어 NER 분야에서도 최고 성능을 기록하며, 교차 언어 일반화 능력을 입증한다.
• 영어 전용으로 미세조정된 모델은 제로샷 F1 점수로 독일어 77.05, 네덜란드어 79.28, 스페인어 73.34를 기록하며, 기준 제로샷 모델 대비 최대 17.8 F1 포인트 향상됨.
• 미세조정 중 3개 레이어를 동결하면 영어 기반 모델에서 제로샷 성능이 최고로 향상되며, 제로샷 언어 간 2.4–17.8 F1 포인트의 향상 효과 기록.
• LI 및 PC와 같은 보조 작업의 사용은 독일어 및 네덜란드어에서 성능 향상에 기여하며, CL+LI는 독일어, LI는 네덜란드어에서 각각 유익한 영향을 미친다.
• 모델은 모든 언어 간 일관된 추론 비용(메모리/CPU/GPU)을 유지하여, 배포 및 라이프사이클 관리가 간편하다.