[논문 리뷰] ner and pos when nothing is capitalized

Stephen Mayhew, Tatiana Tsygankova외 1명|arXiv (Cornell University)|2019. 03. 27.

Topic Modeling참고 문헌 17인용 수 15

한 줄 요약

이 논문은 케이스가 있는 텍스트와 소문자 텍스트를 동시에 학습시켜, 둘 다에 대해 강건한 성능을 달성하는 단일 NLP 모델을 제안한다. 이는 표준 방법들(예: 소문자 데이터로 학습하거나 추론 시 진짜 대문자화를 적용하는 것)을 능가하며, 노이즈가 많은 트위터 데이터에서 언급 탐지 작업에서 F1 점수를 8% 향상시킨다. 주요 결과는 혼합 대/소문자 데이터로 공동 학습함으로써 NER 및 POS 작업에 대해 가장 강건한 모델을 얻을 수 있음을 보여준다.

ABSTRACT

For those languages which use it, capitalization is an important signal for the fundamental NLP tasks of Named Entity Recognition (NER) and Part of Speech (POS) tagging. In fact, it is such a strong signal that model performance on these tasks drops sharply in common lowercased scenarios, such as noisy web text or machine translation outputs. In this work, we perform a systematic analysis of solutions to this problem, modifying only the casing of the train or test data using lowercasing and truecasing methods. While prior work and first impressions might suggest training a caseless model, or using a truecaser at test time, we show that the most effective strategy is a concatenation of cased and lowercased training data, producing a single model with high performance on both cased and uncased text. As shown in our experiments, this result holds across tasks and input representations. Finally, we show that our proposed solution gives an 8% F1 improvement in mention detection on noisy out-of-domain Twitter data.

연구 동기 및 목표

• 케이스가 있는 텍스트나 노이즈가 많은 텍스트에서 자주 발생하는 대문자화의 부재로 인해 NER 및 POS 모델의 성능 저하 문제를 해결하기 위해.
• 케이스가 없는 데이터로 학습하는 것과 추론 시 진짜 대문자화를 적용하는 것이, 케이스가 있는 입력과 없는 입력 모두에서 강건성을 확보하는 데 최적인지 평가하기 위해.
• 특히 실제 세계의 도메인 외부 환경에서, 입력의 대/소문자 형태에 관계없이 잘 작동하는 단일 모델을 구축하는 데 가장 효과적인 전략을 특정하기 위해.
• 혼합 케이스 데이터로 학습하는 것이, 다른 전처리 또는 후처리 방법에 비해 더 나은 일반화 성능을 보이는지 입증하기 위해.

제안 방법

• 학습 전에 둘 다 유지하는 방식으로, 케이스가 있는 텍스트와 소문자 텍스트를 결합한 데이터셋을 사용해 단일 모델을 학습한다.
• 모델 성능을 케이스가 있는 테스트 세트와 케이스가 없는 테스트 세트에서 평가하여 강건성과 평균 성능을 측정한다.
• Susanto 등 (2016)의 방법을 기반으로 한 신경 진짜 대문자화 모델을 구현하며, 문자 수준에서 대문자 레이블을 예측하기 위해 양방향 LSTM을 사용한다.
• 다양한 전략을 비교한다: 케이스가 있는 데이터만, 케이스가 없는 데이터만, 진짜 대문자화된 데이터만, 또는 케이스가 있는 데이터와 소문자 데이터의 혼합 데이터만으로 학습하는 것.
• ELMo 및 BERT 임베딩을 사용해, 다양한 문맥적 표현 아키텍처에서 이 방법의 성능을 테스트한다.
• 실제 노이즈가 많은 데이터( Broad Twitter Corpus)에 모델을 적용하여, 언급 탐지 작업에서 도메인 간 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 케이스가 없는 데이터로 학습하면 케이스가 있는 입력에 대해 강건한가, 또는 반대로 케이스가 있는 데이터로 학습하면 케이스가 없는 입력에 대해 강건한가?
• RQ2 케이스가 없는 텍스트에서 성능을 향상시키기 위해, 케이스가 없는 데이터로 학습하는 것보다 추론 시 테스트 입력을 진짜 대문자화하는 것이 더 좋은 전략인가?
• RQ3 케이스가 있는 텍스트와 소문자 텍스트를 모두 학습에 사용하는 단일 모델이, 단일 형태로만 학습된 모델보다 두 입력 유형에서 평균적으로 더 높은 성능을 낼 수 있는가?
• RQ4 실제 노이즈가 많은 텍스트에서, 혼합 대/소문자 데이터로 학습한 모델의 성능은 추론 시 진짜 대문자화를 적용한 모델과 비교해 어떻게 되는가?
• RQ5 제안된 방법은 ELMo 및 BERT와 같은 다양한 신경망 아키텍처와 임베딩 유형 간에도 일반화되는가?

주요 결과

• 케이스가 있는 텍스트와 소문자 텍스트를 결합한 데이터셋으로 학습한 모델(실험 3)이 NER의 경우 평균 F1 점수 97.57, POS의 경우 97.61을 기록하며, 다른 모든 방법보다 높은 성능을 보였다.
• 혼합 대/소문자 데이터로 학습한 모델은 Broad Twitter Corpus에서 언급 탐지 F1 점수를 8%p 향상시켜, 66.14까지 상승시켰다. 이는 케이스가 있는 데이터로만 학습한 기준선(58.63)보다 높은 성능이다.
• 테스트 데이터를 진짜 대문자화하는 것(실험 4)은 성능이 열악했으며, 학습 데이터와 테스트 데이터의 대문자 기준 불일치로 인해 POS의 평균 F1 점수가 오직 95.21에 머물렀다.
• 소문자 데이터만으로 학습한 모델(실험 2)은 소문자 텍스트에서 높은 성능(POS F1 97.45)을 보였지만, 케이스가 있는 입력에 대한 일반화 능력이 떨어져 평균 성능이 낮았다.
• 정적 임베딩, 비신경 진짜 대문자화, BERT 소문자 임베딩을 사용한 모델들에서도 이 방법이 효과를 보였으며, 이는 강건성과 일반화 능력을 확인한다.
• BERT 소문자 임베딩을 사용할 때조차도, 혼합 대/소문자 데이터로 학습한 모델이 케이스가 있는 데이터나 소문자 데이터로만 학습한 모델보다 더 높은 종합 성능을 보였으며, 이는 혼합 대/소문자 학습의 유용성을 강조한다.