[논문 리뷰] Improving Clinician Performance in Classification of EEG Patterns on the Ictal-Interictal-Injury Continuum using Interpretable Machine Learning

Alina Jade Barnett, Zhicheng Guo외 13명|arXiv (Cornell University)|2022. 11. 09.

Machine Learning in Healthcare참고 문헌 27인용 수 5

한 줄 요약

이 논문은 EEG 패턴의 발작-간발작-손상 연속체(IIIC)를 학습된 대표 패턴과 입력을 비교함으로써 분류하는 해석 가능한 딥러닝 모델인 ProtoPMed-EEG를 소개한다. 이는 블랙박스 대비 모델인 SPaRCNet보다 높은 정확도를 달성하면서도 사례 기반 설명을 제공한다. 모델은 투명한 의사결정을 통해 임상적 신뢰를 가능하게 하며, 2차원 시각화를 통해 병적 EEG 패턴의 연속적인 글로벌 구조를 드러낸다.

ABSTRACT

In intensive care units (ICUs), critically ill patients are monitored with electroencephalograms (EEGs) to prevent serious brain injury. The number of patients who can be monitored is constrained by the availability of trained physicians to read EEGs, and EEG interpretation can be subjective and prone to inter-observer variability. Automated deep learning systems for EEG could reduce human bias and accelerate the diagnostic process. However, black box deep learning models are untrustworthy, difficult to troubleshoot, and lack accountability in real-world applications, leading to a lack of trust and adoption by clinicians. To address these challenges, we propose a novel interpretable deep learning model that not only predicts the presence of harmful brainwave patterns but also provides high-quality case-based explanations of its decisions. Our model performs better than the corresponding black box model, despite being constrained to be interpretable. The learned 2D embedded space provides the first global overview of the structure of ictal-interictal-injury continuum brainwave patterns. The ability to understand how our model arrived at its decisions will not only help clinicians to diagnose and treat harmful brain activities more accurately but also increase their trust and adoption of machine learning models in clinical practice; this could be an integral component of the ICU neurologists' standard workflow.

연구 동기 및 목표

• 의료진 부족과 관찰자 간 변동성으로 인한 ICU에서의 EEG 해석 능력 한계를 해결하기 위해.
• 해석이 어려워 임상적 신뢰를 저해하는 블랙박스 딥러닝 모델의 한계를 극복하기 위해.
• 성능을 유지하거나 향상시키면서도 투명하고 인간이 이해할 수 있는 설명을 제공하는 해석 가능한 모델을 개발하기 위해.
• 2차원 잠재공간에서 ictal-interictal-injury 연속체(IIIC)의 글로벌 구조를 시각화하여 EEG 클래스 간 전이 패턴을 드러내기 위해.
• 실시간 점검 및 의사결정 지원을 위한 GUI를 통해 임상 워크플로우에 모델 통합을 위해.

제안 방법

• ProtoPMed-EEG는 IIIC의 각 EEG 클래스에 대해 대표 패턴(프로토타입)을 학습하는 프로토타입 기반 딥러닝을 사용한다.
• 예측은 유사도 비교를 통해 설명되며, '이 EEG는 그 프로토타입과 닮아 있다'는 식으로 사례 기반의 해석 가능성을 제공한다.
• 구조를 유지하는 차원 축소 기법을 사용하여 잠재공간의 글로벌 2차원 임bedding을 생성하여 EEG 패턴 간 관계를 시각화한다.
• 모델은 대규모 EEG 데이터셋에서 훈련되고 평가되며, 블랙박스 모델인 SPaRCNet과의 성능을 비교한다.
• 부트스트래핑(표본 기반 및 환자 기반)과 이웃 분석을 위한 p-value 계산을 통해 통계적 유의성을 평가한다.
• 임상의가 모델 결정, 프로토타입, 2차원 잠재공간을 점검할 수 있도록 그래픽 사용자 인터페이스(GUI)를 개발한다.

실험 결과

연구 질문

• RQ1 해석 가능한 딥러닝 모델이 IIIC 연속체의 EEG 패턴 분류에서 블랙박스 모델을 능가하면서도 인간이 읽을 수 있는 설명을 제공할 수 있는가?
• RQ2 IIIC 내 EEG 패턴 간 관계는 저차원 잠재공간에 어떻게 나타나며, 이는 연속적인 스펙트럼을 형성하는가?
• RQ3 해석 가능한 모델이 해석이 불가능한 모델에 비해 임상적 신뢰도와 의사결정 과정에 얼마나 기여하는가?
• RQ4 모델의 설명(프로토타입 비교를 통한)은 임상적 추론과 의학 지식과 일치하는가?
• RQ5 부트스트래핑과 p-value로 측정한 통계적 불확실성 하에서 모델의 성능은 얼마나 견고한가?

주요 결과

• ProtoPMed-EEG는 전체 IIIC 분류 작업에서 블랙박스 모델인 SPaRCNet에 비해 더 높은 AUROC(0.91 vs. 0.89)와 AUPRC(0.74 vs. 0.70)를 달성한다.
• 표본 기반 부트스트래핑에서 100%의 샘플에서, 환자 기반 부트스트래핑에서 AUPRC 기준 77% 이상의 샘플에서 해석 가능한 모델이 블랙박스 모델을 능가한다.
• 이웃 분석 결과, 해석 가능한 모델이 유의미하게 블랙박스 모델보다 우수하며, 모든 클래스에서 p-value < 0.001을 기록한다.
• 잠재공간의 2차원 시각화 결과, EEG 패턴들이 고립되어 있지 않고 연속적이며 연결된 스펙트럼을 이루며, 서로 다른 클래스를 연결하는 전이 패턴이 존재한다.
• 프로토타입 비교를 통한 모델의 설명은 안정적이고 재현 가능하며, Annoy 근사 알고리즘의 다중 실행에서 이웃 분석 결과의 변동이 0.01% 미만으로 유지된다.
• GUI를 통해 임상의는 모델 결정, 프로토타입, IIIC의 글로벌 구조를 점검할 수 있으며, 이는 임상 워크플로우에의 통합을 지원한다.