[논문 리뷰] Pre-training A Neural Language Model Improves The Sample Efficiency of an Emergency Room Classification Model

Binbin Xu, Cédric Gil‐Jardine외 4명|arXiv (Cornell University)|2019. 08. 30.

Machine Learning in Healthcare인용 수 8

한 줄 요약

이 연구는 라벨되지 않은 응급실 임상 기록을 기반으로 프랑스어 GPT-2 언어 모델을 사전 훈련하면 외상 여부 분류 작업에서 샘플 효율성이 크게 향상됨을 보여준다. 레이블이 부여된 샘플 160개로만 파인튜닝하는 과정에서 사전 훈련된 모델이 AUC >0.95를 달성했으며, 이는 1,600개의 레이블이 필요한 완전한 지도 학습 모델과 동일한 성능을 보였고, 레이블 데이터 요구량을 10배 줄이는 데 성공했다.

ABSTRACT

To build a French national electronic injury surveillance system based on emergency room visits, we aim to develop a coding system to classify their causes from clinical notes in free-text. Supervised learning techniques have shown good results in this area but require a large amount of expert annotated dataset which is time consuming and costly to obtain. We hypothesize that the Natural Language Processing Transformer model incorporating a generative self-supervised pre-training step can significantly reduce the required number of annotated samples for supervised fine-tuning. In this preliminary study, we test our hypothesis in the simplified problem of predicting whether a visit is the consequence of a traumatic event or not from free-text clinical notes. Using fully re-trained GPT-2 models (without OpenAI pre-trained weights), we assess the gain of applying a self-supervised pre-training phase with unlabeled notes prior to the supervised learning task. Results show that the number of data required to achieve a ginve level of performance (AUC>0.95) was reduced by a factor of 10 when applying pre-training. Namely, for 16 times more data, the fully-supervised model achieved an improvement <1% in AUC. To conclude, it is possible to adapt a multi-purpose neural language model such as the GPT-2 to create a powerful tool for classification of free-text notes with only a small number of labeled samples.

연구 동기 및 목표

• 자유형 임상 기록에서 응급실 방문 원인을 분류하기 위한 지도 학습 모델을 훈련할 때 발생하는 높은 레이블링 비용을 줄이기 위해.
• 프랑스어 의료 텍스트의 저자원 NLP 환경에서 생성형 언어 모델을 사용한 자기지도 사전 훈련이 샘플 효율성에 기여하는지 평가하기 위해.
• 프랑스의 국가 응급의료 시스템에서 자동 외상 모니터링을 위한 확장 가능하고 저자원 기반의 솔루션을 개발하기 위해.
• OpenAI의 사전 훈련된 가중치를 사용하지 않고도 다국어 트랜스포머 모델인 GPT-2를 프랑스어 임상 언어에 효과적으로 적응시킬 수 있는지 타당성을 평가하기 위해.

제안 방법

• 117M 및 345M 파라미터를 가진 완전히 재훈련된 GPT-2 모델을 프랑스어 응급실 임상 기록에 대해 이진 외상 분류 작업에 대해 파인튜닝하였다.
• 두 단계 훈련 과정을 수행: 첫째, 다음 토큰 예측을 사용하여 2,100만 개의 레이블이 없는 프랑스어 임상 기록을 대상으로 자기지도 사전 훈련을 수행하였다.
• 둘째, 전문가가 레이블링한 160~1,600개의 외상/비외상 방문 기록으로 구성된 소규모 데이터셋을 사용해 사전 훈련된 모델을 파인튜닝하였다.
• 분류 작업을 시퀀스에서 시퀀스로의 생성 문제로 간주하기 위해 질문-답변 형식의 프롬프트 포맷을 사용하였다.
• 다양한 레이블 데이터 크기에서 사전 훈련된 모델과 사전 훈련되지 않은 모델 간 성능을 AUC를 사용해 평가하였다.
• 지표로 사용된 ICD-10 코드를 통해 진정성 있는 외상 여부 레이블링을 보장하여 높은 일관성을 확보하였다.

실험 결과

연구 질문

• RQ1 생성형 언어 모델을 사용한 자기지도 사전 훈련이, 프랑스어 응급실 기록에서 정확한 외상 분류를 위해 필요한 레이블 샘플 수를 줄일 수 있는가?
• RQ2 대규모 레이블이 없는 임상 텍스트로 사전 훈련한 모델이, 초기 상태에서부터 훈련한 모델 대비 최종 분류 성능에 어떤 영향을 미치는가?
• RQ3 사전 훈련으로 얻는 성능 향상은 데이터 크기에 따라 비례하는가? 그리고 최소한의 레이블 데이터로도 높은 AUC를 달성할 수 있는가?
• RQ4 OpenAI의 사전 훈련된 가중치를 사용하지 않고도 GPT-2와 같은 다국어 트랜스포머 모델을 프랑스어 의료 텍스트에 효과적으로 적응시킬 수 있는가?
• RQ5 의료 텍스트 분류 작업에 대해 파인튜닝하는 동안, 사전 훈련된 모델과 사전 훈련되지 않은 모델의 훈련 동역학은 어떻게 다른가?

주요 결과

• 사전 훈련 덕분에 AUC >0.95를 달성하기 위해 필요한 레이블 샘플 수가 1,600개에서 160개로 10배 감소하였다.
• 사전 훈련된 모델은 파인튜닝 과정에서 AUC 곡선이 단조적으로 증가하는 경향을 보였으며, 안정적이고 효과적인 학습이 이루어졌음을 시사했다.
• 완전히 지도 학습된 모델은 AUC >0.95에 도달하기 위해 1,600개의 레이블이 필요했으며, 16배 많은 데이터를 사용했음에도 불구하고 사전 훈련된 모델보다 뿐다 1% 뿐 향상되었다.
• 345M 파라미터 모델이 이 연구에서 117M 모델보다 성능이 떨어진 것은 계산 자원 제약으로 인해 전체 훈련이 제대로 이루어지지 않았기 때문일 것이다.
• 사전 훈련 단계는 더 나은 의미적 표현 학습을 가능하게 하여, 매우 적은 수의 레이블 데이터로도 후행 분류 성능을 향상시켰다.
• 결과적으로 자기지도 사전 훈련이 비영어 언어의 저자원 의료 NLP 작업에 매우 효과적인 전략임을 뒷받침한다.