[논문 리뷰] Towards Automated Anamnesis Summarization: BERT-based Models for Symptom Extraction

Anton Maximilian Schäfer, Nils Blach외 3명|arXiv (Cornell University)|2020. 11. 03.

Topic Modeling참고 문헌 13인용 수 4

한 줄 요약

이 논문은 125개의 포럼 게시물로 구성된 새로운 데이터셋을 사용하여 독일어 환자 단언문에서 자동 증상 추출을 위한 BERT 기반 모델을 제안한다. 교육 과정 학습과 데이터 증강 기법을 적용하여 증상 분류 작업에서 F1 스코어 0.903의 최고 성능(SOTA)을 달성하였으며, 임상 기록 지원 분야에서 높은 잠재력을 보여주었다.

ABSTRACT

Professionals in modern healthcare systems are increasingly burdened by documentation workloads. Documentation of the initial patient anamnesis is particularly relevant, forming the basis of successful further diagnostic measures. However, manually prepared notes are inherently unstructured and often incomplete. In this paper, we investigate the potential of modern NLP techniques to support doctors in this matter. We present a dataset of German patient monologues, and formulate a well-defined information extraction task under the constraints of real-world utility and practicality. In addition, we propose BERT-based models in order to solve said task. We can demonstrate promising performance of the models in both symptom identification and symptom attribute extraction, significantly outperforming simpler baselines.

연구 동기 및 목표

• 독일어권 의료 환경에서의 불완전하고 비정형적인 임상 기록 문제를 해결하기 위해.
• 환자 단언문에서 증상 및 속성 추출을 위한 실용적이고 실제 적용 가능한 정보 추출 작업을 개발하기 위해.
• 구조화된 증상 및 속성 주석이 달린 125개의 독일어 환자 작성 조건 기술을 포함한 새로운 고품질 데이터셋을 구축하기 위해.
• 저자원 의료 NLP 환경에서 실제 제약 조건을 고려하여 BERT 기반 모델의 증상 분류 및 속성 추출 성능을 평가하기 위해.
• 증상 쿼리 모델과 데이터 증강 기법을 통해 새로운 증상에 대한 일반화 능력을 향상시키기 위해.

제안 방법

• 다중 레이블 출력을 갖는 증상 분류 작업에 대해 사전 학습된 독일어 BERT 모델(bert-base-german-cased)을 미세조정한다.
• 증상 기술을 조건으로 삼아 환자 텍스트 내 존재 여부를 예측하는 BERT 증상 쿼리(BERT-SQ) 모델을 제안하여 새로운 증상에 대한 제로샷 일반화를 가능하게 한다.
• 계층적 증상 유사도에 따라 부정 샘플을 정렬하여 난이도를 점진적으로 높이는 교육 과정 학습을 적용한다.
• 모델의 일반화 능력을 향상시키기 위해 증상의 합성 기술을 생성하는 데이터 증강 기법을 구현한다.
• 두 가지 속성 추출 전략을 사용한다: 시작-종료 토큰 예측 및 임계값 0.7 이상의 확률 신뢰도를 갖는 연속 토큰 분류.
• 시작-종료 예측에서 겹치거나 일치하지 않는 토큰 스팬을 해결하기 위해 히우리스틱 후처리를 적용한다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델은 실제 임상 환경에서 비정형 독일어 환자 단언문에서 증상과 그 속성을 효과적으로 추출할 수 있는가?
• RQ2 계층적 증상 구조를 가진 증상 분류 작업에서 교육 과정 학습은 모델 성능을 어떻게 향상시키는가?
• RQ3 합성 증상 기술을 활용한 데이터 증강 기법은 새로운 증상에 대한 일반화 능력을 얼마나 향상시키는가?
• RQ4 시작-종료 예측과 연속 토큰 분류 전략 간의 성능 및 내성에 차이가 나는가?
• RQ5 증상 쿼리 모델은 훈련 중에 볼 수 없었던 증상에 효과적으로 일반화될 수 있는가?

주요 결과

• 교육 과정 학습과 데이터 증강을 적용한 BERT 증상 쿼리 모델은 증상 분류 작업에서 마이크로-F1 스코어 0.903을 달성하여 기준 모델을 크게 능가하였다.
• 데이터 증강을 적용한 증상 쿼리 모델은 아블레이션 연구 결과(부록 D 참조)에 따르면 새로운 증상에 더 잘 일반화되었다.
• 연속 토큰 예측 방법이 위치 속성에 대해 F1 스코어 0.66을 기록하여 시작-종료 방법(0.56)을 능가하였다.
• 모든 속성을 동시에 학습한 일반 속성 모델이 대부분의 속성에서 개별 모델보다 성능이 뛰어났으며, 빈도 속성에 대해선 F1 스코어 0.42, 행동 속성에 대해선 0.32를 기록하였다.
• 최고 성능을 보인 설정에서 정밀도는 0.956, 재현율은 0.855를 기록하여 증상 탐지의 높은 신뢰성을 보여주었다.
• 증상 분류에 강력한 성능을 보였음에도 불구하고, 특히 서술적 및 시간적 속성에 대해서는 추출이 여전히 도전적으로 평가되었으며, 일부 카테고리의 F1 스코어는 0.3 이하에 머물렀다.