[논문 리뷰] Effective Use of Bidirectional Language Modeling for Transfer Learning in Biomedical Named Entity Recognition

Devendra Singh Sachan, Pengtao Xie외 2명|arXiv (Cornell University)|2017. 11. 21.

Topic Modeling참고 문헌 31인용 수 32

한 줄 요약

이 논문은 레이블이 없는 의료 텍스트에서 양방향 언어 모델(BiLM)을 미리 훈련시켜 그 가중치를 NER 모델의 초기화에 사용하는 전이 학습 방법을 제안한다. 이 방법은 네 가지 벤치마크 데이터셋에서 F1 스코어를 크게 향상시키며, 수렴 속도를 높이고 목표 성능에 도달하기 위한 데이터 요구량을 줄인다.

ABSTRACT

Biomedical named entity recognition (NER) is a fundamental task in text mining of medical documents and has many applications. Deep learning based approaches to this task have been gaining increasing attention in recent years as their parameters can be learned end-to-end without the need for hand-engineered features. However, these approaches rely on high-quality labeled data, which is expensive to obtain. To address this issue, we investigate how to use unlabeled text data to improve the performance of NER models. Specifically, we train a bidirectional language model (BiLM) on unlabeled data and transfer its weights to "pretrain" an NER model with the same architecture as the BiLM, which results in a better parameter initialization of the NER model. We evaluate our approach on four benchmark datasets for biomedical NER and show that it leads to a substantial improvement in the F1 scores compared with the state-of-the-art approaches. We also show that BiLM weight transfer leads to a faster model training and the pretrained model requires fewer training examples to achieve a particular F1 score.

연구 동기 및 목표

• 생물의학적 NER에서 레이블이 부족한 문제를 해결하여 고정확도 모델 훈련을 가능하게 하기 위해.
• 저자원 생물의학적 NER 환경에서 모델의 일반화 능력을 향상시키고 과적합을 줄이기 위해.
• 양방향 언어 모델링을 통한 비지도 미리 훈련이 무작위 가중치보다 더 나은 초기화 전략이 될 수 있는지 탐색하기 위해.
• BiLM 미리 훈련이 보이는 및 보이지 않는 생물의학적 실체 모두에서 성능 향상에 기여하는지 평가하기 위해.
• fine-tuning 단계에서 NER 모델의 수렴 속도를 높이고 데이터 의존도를 줄이는 데 성공함을 보여주기 위해.

제안 방법

• 대규모 레이블이 없는 생물의학적 텍스트에서 양방향 언어 모델(BiLM)을 양방향 언어 모델링 목표(좌측에서 우측, 우측에서 좌측)를 사용하여 미리 훈련시킨다.
• NER 모델 아키텍처는 상위 CRF 레이어를 제외한 BiLM의 인코더 구성 요소(양방향 LSTM, 문자 특징을 위한 CNN, 단어 임베딩)를 그대로 따르며, 동일한 아키텍처를 사용한다.
• 미리 훈련된 BiLM의 가중치를 NER 모델의 인코더 레이어에 전이하여 문맥 기반 언어 이해에서 유용한 강력한 인덕티브 바이어스를 제공한다.
• 시퀀스 레이블링을 위해 CRF 레이어를 사용하여 레이블이 부여된 생물의학적 NER 데이터를 기반으로 NER 모델을 엔드 투 엔드로 미세조정한다.
• 문자 수준의 CNN을 사용하여 서브워드 특징을 추출하고, 단어 임베딩은 PubMed 기반의 사전 훈련된 모델에서 초기화한다.
• 동일한 모델 아키텍처를 미리 훈련 및 미세조정 단계에 모두 사용하여 직접적인 가중치 전이가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 양방향 언어 모델을 사용한 비지도 미리 훈련이 저자원 생물의학적 NER 데이터셋에서 성능 향상에 기여하는가?
• RQ2 BiLM 기반의 가중치 전이가 NER 모델의 미세조정 단계에서 수렴 속도를 높이는가?
• RQ3 미리 훈련이 목표 F1 스코어에 도달하기 위해 필요한 레이블이 부여된 예시 수를 얼마나 줄이는가?
• RQ4 기존 기준 모델 대비 희귀하거나 긴 이름의 생물의학적 실체(예: 'very-long-chain acyl-coenzyme a dehydrogenase deficiency')에서 이 방법의 성능은 어떠한가?
• RQ5 미리 훈련된 모델이 생물의학 텍스트에서 보이지 않는 질병 실체에 대해 재현율을 향상시키는가?

주요 결과

• BiLM 미리 훈련된 NER 모델은 네 가지 벤치마크 생물의학적 NER 데이터셋에서 최신 기술 수준(F1 스코어)을 달성하며 이전 방법들을 능가한다.
• 무작위 초기화된 모델 대비 미세조정 단계에서 수렴 속도가 뚜렷이 빨라진다.
• 목표 F1 스코어에 도달하기 위해 레이블이 부여된 학습 예시 수가 무작위 초기화 모델보다 적게 필요한 것을 확인했다.
• 보이는 및 보이지 않는 질병 실체 모두에서 재현율이 향상되었으며, 특히 'very-long-chain acyl-coenzyme a dehydrogenase deficiency'와 같이 길거나 모호한 이름의 실체에서 유의미한 개선 효과를 보였다.
• 생물의학 텍스트에서 흔한 언어적 다양성과 복잡한 실체 이름에 대해 강건한 성능을 보였다.
• BiLM 가중치 전이가 강력한 인덕티브 바이어스를 제공하여 과적합을 줄이고 저자원 NER 작업에서 일반화 능력을 향상시켰다.