[논문 리뷰] Comparing Rule-Based and Deep Learning Models for Patient Phenotyping

Sebastian Gehrmann, Franck Dernoncourt외 9명|arXiv (Cornell University)|2017. 03. 25.

Machine Learning in Healthcare참고 문헌 54인용 수 19

한 줄 요약

이 연구는 임상 노트를 사용한 환자 페노타이핑을 위한 딥러닝 모델, 특히 합성곱 신경망(CNNs)을 규칙 기반 및 n-gram 접근 방식과 비교하여 평가한다. CNN 모델은 10개의 페노타이핑 과제 전반에서 모든 기준 모델을 앞서며 평균 F1 스코어 76(PPV: 83, 민감도: 71)을 기록했으며, 다른 방법보다 최대 37포인트 높은 F1 스코어를 기록했고, 임상적 통찰을 제공하기 위해 해석 가능한 시각화 기반 문구 추출도 가능했다.

ABSTRACT

Objective: We investigate whether deep learning techniques for natural language processing (NLP) can be used efficiently for patient phenotyping. Patient phenotyping is a classification task for determining whether a patient has a medical condition, and is a crucial part of secondary analysis of healthcare data. We assess the performance of deep learning algorithms and compare them with classical NLP approaches. Materials and Methods: We compare convolutional neural networks (CNNs), n-gram models, and approaches based on cTAKES that extract pre-defined medical concepts from clinical notes and use them to predict patient phenotypes. The performance is tested on 10 different phenotyping tasks using 1,610 discharge summaries extracted from the MIMIC-III database. Results: CNNs outperform other phenotyping algorithms in all 10 tasks. The average F1-score of our model is 76 (PPV of 83, and sensitivity of 71) with our model having an F1-score up to 37 points higher than alternative approaches. We additionally assess the interpretability of our model by presenting a method that extracts the most salient phrases for a particular prediction. Conclusion: We show that NLP methods based on deep learning improve the performance of patient phenotyping. Our CNN-based algorithm automatically learns the phrases associated with each patient phenotype. As such, it reduces the annotation complexity for clinical domain experts, who are normally required to develop task-specific annotation rules and identify relevant phrases. Our method performs well in terms of both performance and interpretability, which indicates that deep learning is an effective approach to patient phenotyping based on clinicians' notes.

연구 동기 및 목표

• 딥러닝 기술이 전통적인 규칙 기반 및 n-gram 모델에 비해 환자 페노타이핑 정확도를 향상시킬 수 있는지 평가하기 위해.
• MIMIC-III 데이터베이스의 실제 임상 노트에서 CNN, n-gram, cTAKES 기반 접근 방식의 성능을 평가하기 위해.
• 예측과 관련된 중요한 문구를 식별함으로써 딥러닝 모델의 해석 가능성 여부를 조사하기 위해.
• 임상 전문가의 수작업 애너테이션 의존도를 줄이기 위해 관련 임상 문구를 자동으로 식별함으로써 자동화를 추진하기 위해.
• 엔드 투 엔드 딥러닝 모델이 수작업으로 만든 임상 규칙의 성능을 따라하거나 뛰어넘을 수 있는지 확인하기 위해.

제안 방법

• 특징 공학 없이 원시 임상 노트에서 끝에서 끝까지 학습된 합성곱 신경망(CNN)을 사용하여 환자 페노타입을 분류하기 위해.
• 임상 텍스트를 표현하기 위해 단어 임베딩을 사용하고, 국소 n-gram 패턴을 포착하기 위해 다수의 필터 크기를 적용하기 위해.
• 성능 평가를 위해 사전에 정의된 의료 개념을 추출한 후 분류하는 n-gram 모델 및 cTAKES 기반 시스템과 비교하기 위해.
• 모든 예측에 대해 입력 텍스트에서 가장 영향력 있는 문구를 강조하는 시각화 방법을 통해 해석 가능성 향상하기 위해.
• 10개의 서로 다른 페노타이핑 과제에서 MIMIC-III 데이터베이스의 1,610건의 퇴원 요약문을 대상으로 모든 모델 평가하기 위해.
• 분류 성능 평가 지표로 F1 스코어, 양성 예측도(PPV), 민감도를 사용하기 위해.

실험 결과

연구 질문

• RQ1 CNN과 같은 딥러닝 모델이 환자 페노타이핑 과제에서 규칙 기반 및 n-gram 모델을 능가할 수 있는가?
• RQ2 F1 스코어, PPV, 민감도 측면에서 CNN 기반 접근 방식은 cTAKES 기반 시스템과 비교해 어떻게 성능을 내는가?
• RQ3 수작업 규칙 생성 없이 딥러닝 모델이 임상적으로 관련 있는 문구를 얼마나 잘 자동으로 학습할 수 있는가?
• RQ4 시각화 기반 문구 추출을 통해 딥러닝 모델의 해석 가능성은 임상 검증을 위해 향상될 수 있는가?
• RQ5 사전에 정의된 의료 개념을 사용한 특징 공학과는 달리, 원시 텍스트에서 엔드 투 엔드 학습이 페노타이핑 성능을 더 높게 낼 수 있는가?

주요 결과

• CNN 기반 모델은 모든 10개의 페노타이핑 과제에서 평균 F1 스코어 76을 기록했으며, 모든 기준 모델을 뛰어넘었다.
• CNN 모델의 F1 스코어는 다른 접근 방식보다 최대 37포인트 높아 상당한 성능 향상을 보였다.
• 모델은 양성 예측도(PPV) 83과 민감도 71을 기록하여 높은 정밀도와 재현율을 보였다.
• CNN 모델은 임상적으로 관련 있는 문구를 자동으로 학습하고 강조하여 도메인 전문가의 수작업 규칙 애너테이션 필요성을 줄였다.
• 시각화 방법을 통해 각 페노타입과 관련된 핵심 문구를 성공적으로 식별하여 모델의 해석 가능성 향상에 기여했다.
• 평가된 10개의 페노타이핑 과제 전반에서 CNN 모델은 n-gram 및 cTAKES 기반 시스템을 모두 앞섰다.