[논문 리뷰] Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage

Shijing Si, Rui Wang외 6명|arXiv (Cornell University)|2020. 06. 22.

Topic Modeling참고 문헌 48인용 수 6

한 줄 요약

이 논문은 소규모이고 불균형한 의료 데이터셋을 위한 BERT 기반 모델인 LESA-BERT를 제안하며, 환자 메시지의 우선순위 결정에 적용한다. 레이블 임베딩을 주의 메커니즘에 통합하고, 모델을 더 작은 변종으로 정제함으로써 과적합을 줄이고 성능을 향상시킨다. 이는 1,756개의 메시지 샘플로 구성된 우선순위 데이터셋에서 강력한 기준 모델보다 매크로 F1 스코어가 4.3% 높아져 성과를 달성한다.

ABSTRACT

Small and imbalanced datasets commonly seen in healthcare represent a challenge when training classifiers based on deep learning models. So motivated, we propose a novel framework based on BioBERT (Bidirectional Encoder Representations from Transformers forBiomedical TextMining). Specifically, (i) we introduce Label Embeddings for Self-Attention in each layer of BERT, which we call LESA-BERT, and (ii) by distilling LESA-BERT to smaller variants, we aim to reduce overfitting and model size when working on small datasets. As an application, our framework is utilized to build a model for patient portal message triage that classifies the urgency of a message into three categories: non-urgent, medium and urgent. Experiments demonstrate that our approach can outperform several strong baseline classifiers by a significant margin of 4.3% in terms of macro F1 score. The code for this project is publicly available at \url{https://github.com/shijing001/text_classifiers}.

연구 동기 및 목표

• 의료 분야에서 흔한 소규모이고 불균형한 임상 데이터셋에서 딥 러닝 모델을 훈련하는 데 도전하는 것.
• 제한된 데이터에서 BioBERT와 같은 대규모 사전 훈련된 모델을 미세조정할 때 성능을 향상시키고 과적합을 줄이는 것.
• 비상도, 중간도, 비비상도로 나누는 환자 포털 메시지를 우선순위 수준에 따라 분류하는 실용적이고 구현 가능한 시스템을 개발하는 것.
• 성능을 희생시키지 않고도 효율적인 추론을 가능하게 하는 지식 정제를 통한 구현.
• 제한된 애너테이션 데이터가 있는 다른 임상 NLP 작업에 적용 가능한 일반화 가능한 프레임워크를 제공하는 것.

제안 방법

• 각 BERT 레이어에 레이블 임베딩을 도입한 레이블 인지 자기주의(Lesa)를 도입하여, 순서 인코딩 중에 레이블별 표현에 주의를 기울일 수 있도록 한다.
• 사전 훈련된 BioBERT 초기화를 사용하여 환자 메시지 데이터셋에 12층 LESA-BERT 모델을 미세조정한다.
• 12층 LESA-BERT를 더 작은 6층 및 3층 변종으로 압축하기 위해 지식 정제를 적용하여 과적합과 모델 크기를 줄인다.
• 우선순위 카테고리로의 후행 분류를 위해 정제된 모델의 [CLS] 토큰 표현을 사용한다.
• 데이터 불균형을 다루기 위해 클래스 균형 샘플링과 함께 교차 엔트로피 손실을 사용하여 정제된 모델을 엔드 투 엔드로 훈련한다.
• 매크로 F1 스코어와 t-SNE 시각화를 통해 잠재 공간에서의 클래스 분리도를 분석하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 BERT의 자기주의 메커니즘에 레이블 임베딩을 통합하면 소규모이고 불균형한 임상 텍스트 분류 작업에서 성능 향상이 이루어지는가?
• RQ2 큰 사전 훈련된 LESA-BERT 모델에서 더 작은 변종으로 지식 정제를 수행하면 제한된 데이터에서 과적합을 줄이고 일반화 성능을 향상시키는가?
• RQ3 제안된 LESA-BERT 프레임워크는 SVM, 랜덤 포레스트, 표준 BERT와 같은 강력한 기준 모델에 비해 환자 메시지 우선순위 결정에서 어떻게 성능을 내는가?
• RQ4 LESA-BERT에서 학습된 표현이 우선순위 클래스를 얼마나 잘 분리하는가? 그리고 레이블 주관성은 이에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 제한된 애너테이션 데이터가 있는 실제 의료 NLP 작업에 효과적으로 적용될 수 있는가?

주요 결과

• LESA-BERT 프레임워크는 매크로 F1 스코어 0.746을 달성하여 모든 강력한 기준 분류기보다 4.3% 포인트 높은 성능을 기록했다.
• 6층 Distil-LESA-BERT 모델이 전체 12층 LESA-BERT를 초월하여, 지식 정제가 소규모 데이터셋에서 과적합을 줄이고 일반화 성능을 향상시킨다는 것을 입증했다.
• t-SNE 시각화 결과, 비비상 메시지가 중간도 및 비상 메시지와 잘 분리되어 있었지만, 비상 및 중간도 메시지 간에 기능 유사성과 레이블 주관성으로 인해 상당한 겹침이 관찰되었다.
• 부정문 처리에 어려움을 겪었으며, '가슴 통증 없음'과 같은 메시지를 강력한 키워드로 인해 비상으로 잘못 분류하는 경향이 있어, 부정문 인식 모델링이 필요하다는 점을 드러냈다.
• 이 프레임워크는 일반화 가능하며, 제한된 애너테이션 데이터가 있는 다른 임상 NLP 작업에 적용 가능하여, 의료 AI 분야의 데이터 부족 문제에 실용적인 해결책을 제공한다.
• 이 시스템은 임상적 유용성을 지님으로써 자동 우선순위 결정을 가능하게 하며, 제공자 시간을 절약하고 비상 메시지의 대응 시간을 향상시킬 수 있다.