[논문 리뷰] Evaluating the Portability of an NLP System for Processing Echocardiograms: A Retrospective, Multi-site Observational Study

Prakash Adekkanattu, Guoqian Jiang외 15명|arXiv (Cornell University)|2019. 04. 01.

Biomedical Text Mining and Ontologies참고 문헌 23인용 수 15

한 줄 요약

이 연구는 VA에서 개발된 자연어 처리(NLP) 시스템이 세 개의 학술 의료기관에서 심장초음파 검사 보고서에서 27개의 심장 개념을 추출하는 데 있어 이식 가능성(포트폴리어티)을 평가한다. 이 시스템은 아오르타판막, mitral판막, 삼첨판막 역류 및 좌심방 크기와 같은 네 가지 핵심 개념에 대해 높은 정밀도와 재현율을 보였지만, 나머지 개념들에 대해서는 기관 간 성능 격차가 뚜렷하게 나타나, 다기관 NLP 일반화에 직면한 과제를 드러낸다.

ABSTRACT

While natural language processing (NLP) of unstructured clinical narratives holds the potential for patient care and clinical research, portability of NLP approaches across multiple sites remains a major challenge. This study investigated the portability of an NLP system developed initially at the Department of Veterans Affairs (VA) to extract 27 key cardiac concepts from free-text or semi-structured echocardiograms from three academic medical centers: Weill Cornell Medicine, Mayo Clinic and Northwestern Medicine. While the NLP system showed high precision and recall measurements for four target concepts (aortic valve regurgitation, left atrium size at end systole, mitral valve regurgitation, tricuspid valve regurgitation) across all sites, we found moderate or poor results for the remaining concepts and the NLP system performance varied between individual sites.

연구 동기 및 목표

• VA 심장초음파 보고서에서 훈련된 NLP 시스템이 여러 외부 학술 의료기관으로 이식되었을 때의 이식 가능성 평가
• 다른 기관의 자유형 및 반정형식 심장초음파 보고서에서 27개의 핵심 심장 개념을 추출하는 데 있어 시스템의 높은 성능 유지 여부 평가
• 특히 상위 성능를 보이는 개념 이외의 개념들에서 성능 변동성의 원인 규명
• 다기관 의료 환경에서 임상 텍스트 마이닝을 위한 강력하고 일반화 가능한 NLP 시스템 개발에 기여하기 위함

제안 방법

• NLP 시스템은 Weill Cornell Medicine, Mayo Clinic, Northwestern Medicine의 세 외부 기관에서의 심장초음파 보고서에 적용되었다.
• 시스템은 구조화되지 않은 임상 서술문과 반정형식 문맥에서 27개의 정의된 심장 개념을 추출하기 위해 규칙 기반 및 기계학습 기법을 사용하였다.
• 성능 평가는 각 기관에서 전문가가 애너테이션한 기준 데이터와 비교하여 정밀도, 재현율, F1-스코어 지표로 평가되었다.
• 기존 전자 의무기록 시스템에서 데이터를 확보한 후행적이고 다기관 관찰 연구 설계를 사용하였다.
• 모델을 재학습하거나 피지컬 튜닝 없이 동일한 NLP 모델을 모든 기관에 배포하여, 시스템의 즉각적인 일반화 능력을 시험하였다.
• 기관 간 성능 격차 분석을 통해 용어 사용, 보고서 구조, 기록 관행의 기관별 차이를 규명하였다.

실험 결과

연구 질문

• RQ1 VA 심장초음파 보고서에서 훈련된 NLP 시스템이 다른 학술 의료기관의 보고서에 적용되었을 때도 높은 성능를 유지할 수 있는가?
• RQ2 동일한 27개의 심장 개념에 대해 시스템의 성능가 기관 간으로 어떻게 변동되는가?
• RQ3 어느 특정 심장 개념에서 기관 간 성능 저하가 가장 심각한가, 그리고 그 이유는 무엇인가?
• RQ4 임상 기록 방식이나 용어 사용의 차이가 NLP 시스템의 이식 가능성에 어느 정도 영향을 미치는가?

주요 결과

• 모든 세 기관에서 아오르타판막 역류, 수축기 말 좌심방 크기, 미트랄판막 역류, 삼첨판막 역류와 같은 네 가지 핵심 개념에 대해 높은 정밀도와 재현율(정확도 F1 > 0.8)을 기록하였다.
• 나머지 23개의 심장 개념에 대해서는 성능가 중간 또는 열악한 수준이었으며, 한 곳 이상의 기관에서 F1-스코어가 0.6 이하였다.
• 동일한 개념에 대해서도 기관 간 성능 격차가 뚜렷하게 나타나, NLP 일반화에 기관 특유의 과제가 있음을 시사하였다.
• 연구에서는 기관 간 용어 사용 및 보고서 구조의 일관성 부족이 성능 변동성의 주요 원인로 규명되었다.
• 명확하게 정의된, 임상적으로 두드러진 개념들에 대해서는 높은 이식 가능성을 보였지만, 더 넓은 범위의 개념 추출에는 어려움을 겪었다.
• 재학습이나 도메인 적응 없이 성능 향상이 관찰되지 않아, 이질적인 임상 환경에서 NLP 시스템을 배포하는 데의 과제를 강조하였다.