[논문 리뷰] Interpretable and Intervenable Ultrasonography-based Machine Learning Models for Pediatric Appendicitis

Ričards Marcinkevičs, Patricia Reis Wolfertstetter외 10명|arXiv (Cornell University)|2023. 02. 28.

Colorectal Cancer Screening and Detection참고 문헌 67인용 수 1

한 줄 요약

이 논문은 복부 초음파 영상 자료를 활용하여 소아 맹장염 진단을 위한 해석 가능하고 간섭 가능한 기계학습 모델을 제안한다. 새로운 다중 시야 개념 볼트넥 모델(MVCBM)을 도입하여 임상의가 고수준의 임상적으로 의미 있는 개념에 직접적으로 상호작용할 수 있도록 한다. 모델은 진단 예측에서 AUROC 0.80, AUPR 0.92의 성능을 달성하였으며, 블랙박스 신경망과 동등한 성능을 보였고, 영상 레이블링이 필요 없이도 실시간 사용이 가능하고 해석 가능성도 유지한다.

ABSTRACT

Appendicitis is among the most frequent reasons for pediatric abdominal surgeries. Previous decision support systems for appendicitis have focused on clinical, laboratory, scoring, and computed tomography data and have ignored abdominal ultrasound, despite its noninvasive nature and widespread availability. In this work, we present interpretable machine learning models for predicting the diagnosis, management and severity of suspected appendicitis using ultrasound images. Our approach utilizes concept bottleneck models (CBM) that facilitate interpretation and interaction with high-level concepts understandable to clinicians. Furthermore, we extend CBMs to prediction problems with multiple views and incomplete concept sets. Our models were trained on a dataset comprising 579 pediatric patients with 1709 ultrasound images accompanied by clinical and laboratory data. Results show that our proposed method enables clinicians to utilize a human-understandable and intervenable predictive model without compromising performance or requiring time-consuming image annotation when deployed. For predicting the diagnosis, the extended multiview CBM attained an AUROC of 0.80 and an AUPR of 0.92, performing comparably to similar black-box neural networks trained and tested on the same dataset.

연구 동기 및 목표

• 기존의 인공지능 도구들이 임상적 사용성에 빈도를 보이는 점을 보완하여, 초음파 영상 자료를 활용한 소아 맹장염 진단을 위한 해석 가능하고 간섭 가능한 기계학습 모델을 개발한다.
• 임상의가 '맹장 직경'이나 '자유액'과 같은 고수준의 인간이 이해할 수 있는 개념을 통해 예측 결과를 직접 상호작용하고 수정할 수 있도록 한다.
• 기존의 개념 볼트넥 모델(CBM)을 다중 초음파 시야 및 완전하지 않은 개념 집합을 처리할 수 있도록 확장하여 실제 임상 환경에서의 강건성 향상.
• 579명의 소아 환자와 1,709장의 초음파 영상이 포함된 공개 데이터셋을 기반으로 모델을 검증하여 재현 가능성과 임상적 관련성을 확보한다.
• 실시간으로 상호작용 가능한 웹 기반 데모 도구를 구축하여 임상적 수용과 신뢰도 향상.

제안 방법

• 연구는 원시 픽셀이 아닌 중간 단계의 임상적으로 해석 가능한 개념에 기반해 예측을 수행하는 개념 볼트넥 모델(CBM) 프레임워크를 사용한다.
• 동일한 환자에서의 다중 초음파 시야 정보를 통합하여 성능과 강건성을 향상시키기 위해 CBM의 다중 시야 확장(MVCBM)을 제안한다.
• 비용이 많이 드는 완전한 레이블링에 의존도를 줄이기 위해, 레이블이 부여된 개념과 약한 감독 기반의 영상 수준 레이블을 함께 사용해 반감독 방식으로 학습한다.
• 새로운 아키텍처를 통해 완전하지 않은 개념 집합이 존재하는 상황에서도 예측이 가능하게 하여, 임상의가 알려진 또는 불확실한 소견만 입력할 수 있도록 한다.
• 실시간 간섭 기능을 지원: 임상의는 예를 들어 '맹장 직경 > 6mm'와 같은 개념 값을 조정하고 진단 또는 중증도 예측에 즉각적인 영향을 관찰할 수 있다.
• 모델은 579명의 소아 환자와 1,709장의 초음파 영상, 임상 및 검사 데이터를 포함한 데이터셋에서 학습 및 평가되었으며, 주요 평가 지표로는 AUROC와 AUPR를 사용하였다.

실험 결과

연구 질문

• RQ1 초음파 영상 자료를 활용한 개념 기반 기계학습 모델이 소아 맹장염 진단에서 높은 성능를 달성하면서도 임상의가 이해할 수 있는 해석 가능성을 유지할 수 있는가?
• RQ2 개념 볼트넥 모델은 임상 환경에서 다중 초음파 시야 및 불완전한 개념 입력을 처리하기 위해 어떻게 확장될 수 있는가?
• RQ3 임상의가 성능 저하 없이 고수준의 임상적으로 관련성이 있는 개념을 통해 모델 예측을 의미 있게 상호작용하고 수정할 수 있는가?
• RQ4 해석 가능한 MVCBM의 성능가 블랙박스 딥 러닝 모델과 동일한 데이터셋에서 어떻게 비교되는가?
• RQ5 모델은 최소한의 레이블링 오버헤드로 실시간으로 배포되어 실질적인 임상적 활용이 가능한가?

주요 결과

• 확장된 다중 시야 개념 볼트넥 모델(MVCBM)은 소아 맹장염 진단에서 AUROC 0.80, AUPR 0.92의 성능을 달성하였으며, 동일한 데이터셋에서 블랙박스 신경망과 동등한 성능을 보였다.
• 임상의가 개념 값(예: 자유액 존재 여부)을 조정하고 즉각적인 영향을 진단 또는 중증도 추정에 관찰할 수 있는 실시간 상호작용 예측이 가능하다.
• 부분적인 개념 집합이 존재하는 상황에서도 높은 성능를 유지하여 누락된 임상 정보에 대한 강건성을 입증하였다.
• 임상의가 참여하는 해석 기능을 지원: 사용자는 특정 초음파 소견으로 예측 결과를 추적할 수 있어 신뢰도와 투명도를 향상시킨다.
• 공개된 웹 데모 도구를 https://papt.inf.ethz.ch/mvcbm 에 배포하여 실시간으로 모델과 상호작용할 수 있도록 하였다.
• 연구는 맹장염을 보존적 치료한 환자에서 조직학적 확인 자료가 부족하고, 초음파 전처리 과정에서 척도 정보가 누락되어 모델의 강건성에 영향을 줄 수 있다는 한계점을 제기하였다.