[논문 리뷰] The Utility of General Domain Transfer Learning for Medical Language Tasks

Daniel Ranti, Katie Hanss외 5명|arXiv (Cornell University)|2020. 02. 16.

Topic Modeling인용 수 7

한 줄 요약

이 연구는 일반 도메인 및 통합 일반-의료 도메인 사전학습을 사용하여 방사선 CT 보고서에 맞춤형으로 조정된 BERT 모델을 활용한 전이학습을 평가한다. 일반 도메인 전이학습이 표본 가중 F1 스코어 0.87을 기록하며 로지스틱 회귀 및 LSTM 기반 모델을 능가하는 최고 성능을 달성함으로써, 제한된 레이블 데이터를 가진 의료 NLP 작업에서의 실용성을 입증한다.

ABSTRACT

The purpose of this study is to analyze the efficacy of transfer learning techniques and transformer-based models as applied to medical natural language processing (NLP) tasks, specifically radiological text classification. We used 1,977 labeled head CT reports, from a corpus of 96,303 total reports, to evaluate the efficacy of pretraining using general domain corpora and a combined general and medical domain corpus with a bidirectional representations from transformers (BERT) model for the purpose of radiological text classification. Model performance was benchmarked to a logistic regression using bag-of-words vectorization and a long short-term memory (LSTM) multi-label multi-class classification model, and compared to the published literature in medical text classification. The BERT models using either set of pretrained checkpoints outperformed the logistic regression model, achieving sample-weighted average F1-scores of 0.87 and 0.87 for the general domain model and the combined general and biomedical-domain model. General text transfer learning may be a viable technique to generate state-of-the-art results within medical NLP tasks on radiological corpora, outperforming other deep models such as LSTMs. The efficacy of pretraining and transformer-based models could serve to facilitate the creation of groundbreaking NLP models in the uniquely challenging data environment of medical text.

연구 동기 및 목표

• 일반 도메인 사전학습을 활용한 전이학습의 효과성을 의료 NLP 작업에서 평가하는 것.
• 일반 도메인 사전학습 대비 통합 일반-의료 도메인 사전학습으로 조정된 BERT 모델이 방사선 텍스트 분류에서 어떻게 성능을 내는지 비교하는 것.
• 낮은 자원 환경에서 의료 NLP 작업을 수행할 때 기존 모델인 로지스틱 회귀 및 LSTMs와의 성능을 비교 평가하는 것.
• 제한된 레이블 데이터를 가진 의료 텍스트 분류 작업에서 일반 도메인 전이학습이 최고 성능을 달성할 수 있는지 평가하는 것.

제안 방법

• 96,303건의 보고서 중 1,977건의 레이블이 부여된 두부 CT 보고서를 대상으로 양방향 트랜스포머 기반 BERT 모델을 미세조정하였다.
• 의료 데이터셋에 대한 미세조정 이전에 일반 도메인 코퍼스 또는 일반 도메인과 생물의학 도메인 코퍼스를 통합한 코퍼스에서 BERT 모델을 사전학습하였다.
• 다중 레이블, 다중 클래스 분류의 주요 평가 지표로 표본 가중 평균 F1 스코어를 사용하였다.
• 백오프 워드 로지스틱 회귀 모델과 다중 레이블 분류를 위한 LSTM 기반 모델과의 성능을 비교하였다.
• 사전학습 기간 동안 마스킹 언어 모델링 및 다음 문장 예측을 포함한 표준 BERT 미세조정 절차를 적용하였다.
• 방사선 보고서 데이터셋의 클래스 불균형을 고려하기 위해 균형 잡힌 평가 전략을 사용하였다.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터를 가진 의료 NLP 작업에서 일반 도메인 사전학습이 효과적으로 성능 향상을 이끌 수 있는가?
• RQ2 일반 도메인 사전학습으로 조정된 BERT 모델은 통합 일반-의료 도메인 사전학습으로 조정된 모델보다 어떻게 비교되는가?
• RQ3 BERT를 활용한 전이학습은 방사선 텍스트 분류에서 기존의 딥러닝 모델인 LSTMs를 능가하는가?
• RQ4 일반 도메인 전이학습이 제한된 자원 환경에서 의료 텍스트 분류 작업에서 최고 성능을 달성하는 데 얼마나 효과적인가?

주요 결과

• 일반 도메인 코퍼스에서 사전학습된 BERT 모델은 방사선 텍스트 분류 작업에서 표본 가중 평균 F1 스코어 0.87을 기록하였다.
• 일반 도메인과 생물의학 도메인 코퍼스를 통합하여 사전학습한 BERT 모델 역시 표본 가중 평균 F1 스코어 0.87을 기록하여 유사한 성능을 보였다.
• 두 BERT 모델 모두 로지스틱 회귀 기반 모델보다 유의미하게 높은 성능을 보였으며, 이는 연구에서 보고된 F1 스코어 이하의 성능이었다.
• BERT 모델은 LSTMs 기반 모델보다 성능이 뛰어나, 이 의료 NLP 환경에서 트랜스포머 기반 아키텍처의 우수성을 입증하였다.
• 일반 도메인 전이학습은 낮은 자원 환경에서 의료 NLP 작업에서 최고 성능을 달성하기 위한 실용적이고 효과적인 접근법으로 확인되었다.
• 대규모 일반 도메인 텍스트에서의 사전학습은 전문적인 의료 텍스트 분류 작업으로 지식을 효과적으로 전이할 수 있음을 시사한다.