[논문 리뷰] Robust Named Entity Recognition with Truecasing Pretraining

Stephen Mayhew, Nitish Gupta외 1명|arXiv (Cornell University)|2019. 12. 15.

Topic Modeling참고 문헌 25인용 수 9

한 줄 요약

이 논문은 소문자 텍스트에서 올바른 대문자 표기(타이틀 케이스)를 예측하기 위해 사전 훈련된 트루캐서(truecaser)를 사용하는 강건한 명명된 실체 인식(NER) 프레임워크를 제안한다. 이 프레임워크는 트루캐서의 출력을 문자 수준 임베딩에 추가적인 특징으로 통합한다. 이 방법은 대소문자 구분이 있는 텍스트와 없는 텍스트 양쪽에서 NER 성능을 향상시키며, 특히 언캐스트 BERT 임베딩을 사용할 때도 WNUT17 데이터셋에서 최신 기술(SoTA) 성능을 달성한다.

ABSTRACT

Although modern named entity recognition (NER) systems show impressive performance on standard datasets, they perform poorly when presented with noisy data. In particular, capitalization is a strong signal for entities in many languages, and even state of the art models overfit to this feature, with drastically lower performance on uncapitalized text. In this work, we address the problem of robustness of NER systems in data with noisy or uncertain casing, using a pretraining objective that predicts casing in text, or a truecaser, leveraging unlabeled data. The pretrained truecaser is combined with a standard BiLSTM-CRF model for NER by appending output distributions to character embeddings. In experiments over several datasets of varying domain and casing quality, we show that our new model improves performance in uncased text, even adding value to uncased BERT embeddings. Our method achieves a new state of the art on the WNUT17 shared task dataset.

연구 동기 및 목표

• 대소문자 구분이 없는 또는 노이즈가 많은 텍스트에서 자주 발생하는 NER 모델의 일반화 능력 부족 문제를 해결하기 위해, 대소문자 표기 의존성이 성능 저하를 야기한다는 점을 다루기 위해.
• 최신 기술 NER 모델이 대소문자 신호에 과적합되는 문제를 해결하기 위해, 올바른 대소문자 표기를 복원하는 데 목표를 두는 사전 훈련 목표를 도입하기 위해.
• 골드 대소문자 표기 의존성을 버리지 않고도 NER의 강건성을 향상시키기 위해, 실제 대소문자 레이블을 학습된 신호로 예측하는 방식을 통해 유용한 대소문자 정보를 유지하기 위해.
• 트루캐싱 사전 훈련이 표준 BiLSTM-CRF 모델과 현대적인 BERT 기반 모델 양쪽 모두에서 성능 향상을 이끌어내며, 특히 자원이 적거나 노이즈가 많은 도메인에서 효과적임을 보여주기 위해.
• 다양한 데이터셋과 대소문자 품질 수준에서 최적의 NER 성능을 내기 위해 트루캐서의 전처리 및 훈련 전략을 수립하기 위해.

제안 방법

• 소문자 텍스트를 입력으로 받아 문장의 각 문자에 대해 대문자/소문자 레이블을 예측하는 문자 수준의 BiLSTM 기반 트루캐서를 훈련한다. 골드 레이블은 원본 대소문자 표기이다.
• 트루캐서의 출력 분포(각 문자당 2차원 벡터)를 학습된 특징으로 사용하여, 문자 임베딩과 연결한 후 CNN 또는 BiLSTM에 입력한다.
• 트루캐서 예측 결과를 NER 모델에 통합하기 위해 문자 수준 표현에 이들을 추가함으로써, 단어 임베딩을 수정하지 않고도 맥락 이해를 향상시킨다.
• 대규모 비라벨 텍스트에서 트루캐서를 사전 훈련한 후, 라벨이 부여된 NER 데이터에서 NER 모델과 함께 공동으로 훈련함으로써 강건한 표현을 위한 엔드 투 엔드 학습을 가능하게 한다.
• 표준 BiLSTM-CRF 및 BERT 기반 NER 모델 양쪽에 이 방법을 적용하여 아키텍처 및 데이터 설정에 관계없이 일관된 성능 향상을 입증한다.
• 트루캐서 훈련 데이터에 대해 명칭 실체 유사 패턴을 유도하는 전처리 전략을 적용하여, 실체 수준의 대소문자 패턴으로의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 비라벨 텍스트에서 트루캐서를 사전 훈련하면, 대소문자 구분이 없는 또는 노이즈가 많은 입력에 대해 NER 모델의 강건성이 향상되는가?
• RQ2 문자 임베딩에 예측된 대소문자 정보를 특징으로 통합할 경우, 골드 대소문자 표기에만 의존하거나 대소문자 정보를 무시하는 것보다 NER 성능이 향상되는가?
• RQ3 트루캐서의 성능과 후속 NER 성능 간의 상관관계는 어떻게 되며, 성능이 열악한 트루캐서라도 여전히 NER 정확도 향상에 기여할 수 있는가?
• RQ4 트루캐싱 사전 훈련이 언캐스트 BERT 임베딩의 NER 작업 성능 향상에 어느 정도 기여하는가?
• RQ5 트루캐싱 훈련 데이터에 대한 어떤 전처리 전략이 후속 NER에서 최고의 일반화 및 성능 향상을 이끌어내는가?

주요 결과

• 제안된 방법은 전체 언캐스트 Ontonotes 테스트 세트에서 NER F1 점수를 1.0 포인트 향상시켰으며, 뉴스 방송(BC) 서브제너르에서는 최대 1.9 포인트 향상되었다.
• WNUT17 공동 과제에서 모델은 새로운 최신 기술 성능을 달성했으며, 심지어 언캐스트 BERT 임베딩을 사용할 때도 이전 방법들을 능가했다.
• NER 모델이 언캐스트 BERT를 사용할 때조차도 트루캐서가 언캐스트 텍스트에서 성능 향상을 이끌어내어, 사전 훈련 단계를 넘어서도 대소문자 예측이 추가 가치를 가짐을 보여주었다.
• NER 데이터에서 사전 훈련된 트루캐서를 공동 훈련하면, 처음부터 훈련하는 것(47.7 F1)이나 고정된 사전 훈련된 버전을 사용하는 것(46.9 F1)보다 더 좋은 결과(46.3 F1)를 얻었으며, 이는 공동 최적화의 이점이 있음을 시사한다.
• 사전 훈련된 트루캐서의 문자 수준 대소문자 예측 성능(공동 훈련 후 52.3% F1)은 NER 성능 향상과 상관관계가 있으나 완벽한 것은 아니며, 정확한 대소문자 예측이 유리하지만 반드시 필수적인 것은 아님을 시사한다.
• 저자원 또는 노이즈가 많은 텍스트를 포함한 다양한 도메인과 대소문자 품질 수준에서 일관된 성능 향상이 나타나, 실제 환경에서의 강건성을 확인하였다.