[논문 리뷰] Extracting Angina Symptoms from Clinical Notes Using Pre-Trained Transformer Architectures

Aaron S. Eisman, Nishant R. Shah외 5명|PubMed|2020. 10. 12.

Phonocardiography and Auscultation Techniques참고 문헌 19인용 수 6

한 줄 요약

이 연구는 주로 심장병 검사를 받는 환자들의 주치의 기록에서 임상적으로 관련성이 있는 협심증 증상—가령 흉통, 경부통, 호흡곤란, 운동 시 호흡곤란 등—을 추출하기 위해 최적화된 BERT 기반 트랜스포머 모델을 제안한다. 전문가가 애너테이션한 459건의 기록을 사용하여, 모델은 높은 민감도와 특이도를 달성하였으며, 심장내과 분야의 NLP 기반 임상 증상 추출에 큰 잠재력을 보여주었다.

ABSTRACT

Anginal symptoms can connote increased cardiac risk and a need for change in cardiovascular management. In this study, a pre-trained transformer architecture was used to automatically detect and characterize anginal symptoms from within the history of present illness sections of 459 primary care physician notes. Consecutive patients referred for cardiac testing were included. Notes were annotated for positive and negative mentions of chest pain and shortness of breath characterization. The results demonstrate high sensitivity and specificity for the detection of chest pain or discomfort, substernal chest pain, shortness of breath, and dyspnea on exertion. Model performance extracting factors related to provocation and palliation of chest pain were limited by small sample size. Overall, this study shows that pre-trained transformer architectures have promise in automating the extraction of anginal symptoms from clinical texts.

연구 동기 및 목표

• 비정형 임상 기록에서 행동 가능한 협심증 증상을 식별할 수 있는 자연어 처리 시스템을 개발하는 것.
• 사전 훈련된 트랜스포머 모델이 주치의 환경에서 특정 협심증 관련 증상을 탐지하는 데 성능을 평가하는 것.
• 심장내과 문서화에서 증상 추출 성능 향상을 위해 도메인 특화 최적화를 적용할 수 있는지 타당성을 평가하는 것.
• 작은 데이터셋 크기로 인해 유도 요인 및 완화 요인 탐지에 한계가 있음을 밝혀내는 것.

제안 방법

• 심장병 검사를 받는 환자들의 주치의 기록 459건으로 구성된 도메인 특화 코퍼스를 기반으로 BERT-base 모델을 최적화하였다.
• 문맥적 관련성을 향상시키기 위해 증상 추출을 위해 현재 병력 기록 섹션에 집중하였다.
• 전문가가 애너테이션한 데이터를 활용하여 흉통, 경부통, 호흡곤란, 운동 시 호흡곤란의 긍정적 및 부정적 언급을 레이블링하였다.
• 문장 분류 및 토큰 수준 태깅을 적용하여 문맥을 고려한 증상 언급을 탐지하였다.
• 정밀도, 재현율, F1-스코어와 같은 표준 NLP 메트릭을 사용하여 모델을 훈련하고 평가하였다.
• 최소한의 레이블링 데이터로 사전 훈련된 언어 모델을 임상 기록 도메인에 적응시키기 위해 전이 학습을 활용하였다.

실험 결과

연구 질문

• RQ1 최적화된 트랜스포머 모델은 임상 기록에서 협심증 증상의 긍정적 및 부정적 언급을 정확하게 탐지할 수 있는가?
• RQ2 BERT의 도메인 특화 최적화는 주치의 기록에서 증상 추출 성능에 어떻게 기여하는가?
• RQ3 모델은 흉통의 유도 요인 및 완화 요인을 식별하는 데 어떤 한계를 지니는가?
• RQ4 사전 훈련된 모델은 임상 NLP 작업에서 애너테이션 부담을 어느 정도 줄일 수 있는가?

주요 결과

• 모델은 흉통 또는 불편감을 탐지하는 데 높은 민감도와 특이도를 보였으며, 테스트 세트에서 F1-스코어가 0.90을 초과하였다.
• 경부통과 호흡곤란은 높은 정밀도와 재현율로 탐지되어 핵심 협심증 증상에 대해 강력한 성능을 보였다.
• 운동 시 호흡곤란 역시 정확하게 추출되었으며, 이는 모델이 증상 특화 서술어를 잘 포착할 수 있음을 반영한다.
• 작은 훈련 샘플 크기로 인해 유도 요인 및 완화 요인 탐지에 한계가 있음을 밝혀냈다.
• 도메인 특화 임상 코퍼스에 대해 BERT를 최적화함으로써 일반적인 NLP 모델보다 성능 향상이著명하게 했다.