[논문 리뷰] Effective Use of Bidirectional Language Modeling for Medical Named Entity Recognition.

Devendra Singh Sachan, Pengtao Xie외 1명|arXiv (Cornell University)|2017. 11. 21.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 성능 향상과 학습 효율성 향상을 위해 의료 명명된 엔터티 인식(NER) 모델를 사전 훈련된 양방향 언어 모델(Bi-LM) 가중치로 초기화하는 방법을 제안한다. 레이블이 부여된 데이터에서 미세조정을 수행함으로써, 무작위 초기화에 비해 더 높은 F1 점수, 더 빠른 수렴 속도, 더 적은 데이터 요구량을 달성한다.

ABSTRACT

Biomedical named entity recognition (NER) is a fundamental task in text mining of medical documents and has a lot of applications. Existing approaches for NER require manual feature engineering in order to represent words and its corresponding contextual information. Deep learning based approaches have been gaining increasing attention in recent years as their weight parameters can be learned end-to-end without the need for hand-engineered features. These approaches rely on high-quality labeled data which is expensive to obtain. To address this issue, we investigate how to use widely available unlabeled text data to improve the performance of NER models. Specifically, we train a bidirectional language model (Bi-LM) on unlabeled data and transfer its weights to a NER model with the same architecture as the Bi-LM, which results in a better parameter initialization of the NER model. We evaluate our approach on three datasets for disease NER and show that it leads to a remarkable improvement in F1 score as compared to the model with random parameter initialization. We also show that Bi-LM weight transfer leads to faster model training. In addition, our model requires fewer training examples to achieve a particular F1 score.

연구 동기 및 목표

• 딥 러닝을 활용하여 생물의학적 NER에서 수동 특징 공학에 의존도를 줄이기 위해.
• 사전 훈련을 통해 레이블이 없는 생물의학적 텍스트를 활용하여 NER 성능을 향상시키기 위해.
• 효율적인 NER를 위해 모델 수렴 속도를 가속화하고 데이터 요구량을 줄이기 위해.
• Bi-LM 가중치 전이가 다양한 데이터셋에서 질병 NER에 미치는 영향을 평가하기 위해.

제안 방법

• 대규모 레이블이 없는 생물의학적 텍스트에서 양방향 언어 모델(Bi-LM)을 사전 훈련한다.
• 학습된 Bi-LM 가중치를 동일한 아키텍처를 가진 NER 모델의 인코더를 초기화하는 데 전이한다.
• 레이블이 부여된 질병 NER 데이터셋에서 초기화된 NER 모델을 미세조정한다.
• 무작위 초기화된 NER 모델과의 성능 및 학습 동역학을 비교한다.
• Bi-LM 사전 훈련과 NER 미세조정 모두에서 동일한 모델 아키텍처를 사용하여 파라미터 호환성을 확보한다.
• 일반화성과 강건성을 평가하기 위해 세 개의 질병 NER 데이터셋에서 평가를 수행한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 생물의학적 텍스트에서 양방향 언어 모델을 사전 훈련하면 후속 NER 성능이 향상되는가?
• RQ2 Bi-LM 가중치 전이가 NER 학습 중 수렴 속도를 빠르게 하는가?
• RQ3 Bi-LM 초기화가 특정 F1 점수에 도달하기 위해 필요한 레이블이 부여된 예제 수를 얼마나 줄이는가?
• RQ4 F1 점수와 학습 효율성 측면에서 Bi-LM 초기화는 무작위 초기화보다 어떻게 비교되는가?

주요 결과

• Bi-LM로 초기화된 NER 모델은 세 가지 질병 NER 데이터셋 전부에서 무작위 초기화보다 유의미한 F1 점수 향상을 달성한다.
• Bi-LM 초기화를 사용한 모델 학습은 무작위 초기화보다 더 빠른 수렴 속도를 보인다.
• 특정 F1 점수에 도달하기 위해 필요한 학습 예제 수가 감소하여 더 뛰어난 데이터 효율성을 보인다.
• 다양한 데이터셋에서 일관된 성능 향상을 보이며, 도메인 변동성에 대해 강건함을 입증한다.
• 사전 훈련된 Bi-LM 가중치 사용은 더 나은 파라미터 초기화를 제공하여 더 효과적인 엔드 투 엔드 학습을 이끈다.