[논문 리뷰] Leveraging Historical Medical Records as a Proxy via Multimodal Modeling and Visualization to Enrich Medical Diagnostic Learning

Yang Ouyang, Yuchen Wu외 7명|arXiv (Cornell University)|2023. 07. 23.

Data Visualization and Analytics인용 수 4

한 줄 요약

이 논문은 의료 신인 및 초보자들의 진단 학습을 향상시키기 위해 역사적 다중모달 의료 기록을 대체자료로 활용하는 시각적 분석 시스템인 DiagnosisAssistant를 제안한다. 임베딩 전이, 모ality별 시각화, 비교 환자 분석과 같은 상호작용 가능한 시각화 기법들과 다중모달 기계학습 모델을 통합함으로써, 사용자는 모델 예측을 해석하고 각 모달리티의 기여도를 이해하며 진단 추론 능력을 향상시킬 수 있다. 이는 사례 연구와 전문가 피드백을 통해 검증되었다.

ABSTRACT

Simulation-based Medical Education (SBME) has been developed as a cost-effective means of enhancing the diagnostic skills of novice physicians and interns, thereby mitigating the need for resource-intensive mentor-apprentice training. However, feedback provided in most SBME is often directed towards improving the operational proficiency of learners, rather than providing summative medical diagnoses that result from experience and time. Additionally, the multimodal nature of medical data during diagnosis poses significant challenges for interns and novice physicians, including the tendency to overlook or over-rely on data from certain modalities, and difficulties in comprehending potential associations between modalities. To address these challenges, we present DiagnosisAssistant, a visual analytics system that leverages historical medical records as a proxy for multimodal modeling and visualization to enhance the learning experience of interns and novice physicians. The system employs elaborately designed visualizations to explore different modality data, offer diagnostic interpretive hints based on the constructed model, and enable comparative analyses of specific patients. Our approach is validated through two case studies and expert interviews, demonstrating its effectiveness in enhancing medical training.

연구 동기 및 목표

• 시뮬레이션 기반 의료 교육(SBME)에서 절차 기반 기술 훈련에 치중되어 있는 데 반해 종합적 진단 추론 훈련이 부족한 점을 보완하기 위해.
• 경험 부족과 인지 편향으로 인해 다중모달 임상 데이터(예: 영상, 검사 결과, 임상 기록)를 통합하는 데 어려움을 겪는 신규 의료진을 돕기 위해.
• 전문가 임상 경험의 대체자료로 역사적 사례에서 유래한 데이터 기반 객관적 사례를 제공함으로써 멘토링 의존도를 줄이기 위해.
• 시각적 분석 및 사후 해석 기법을 통해 임상 의사결정에 활용되는 다중모달 AI 모델의 해석 가능성 향상을 위해.
• 비교 분석 및 모달리티 수준의 통찰을 통해 진단 학습 주기에서 자기 인식과 자기 조정 능력을 향상시키기 위해.

제안 방법

• 시스템은 자궁경부 척추 환자를 대상으로 한 실제 임상 데이터셋에서 학습된 다중모달 기계학습 모델을 활용하며, 뇌영상, 검사 결과, 임상 기록, 인구통계학적 데이터를 통합한다.
• 모델 예측을 해석하고 개별 모달리티의 기여도를 강조하기 위해 사후 해석 기법(예: 주의 맵, 기울기 기반 강조도)을 적용한다.
• 상호작용 가능한 시각적 분석 인터페이스에는 환자 군집화 및 궤적 분석을 위한 임베딩 전이 시각화, 모달리티 수준의 특징 중요도를 위한 트리맵, 양면 비교 분석을 위한 비교 환자 시각화가 포함되어 있다.
• 사용자가 데이터 패턴을 점검하고 모델 신뢰도를 평가하며 사례 간 진단 추론 경로를 추적할 수 있도록 이원 및 내모달리티 탐색을 지원한다.
• 학습 주기 프레임워크(명확화, 관찰, 반성)에 기반하여, 시각적 상호작용을 진단 훈련의 인지 단계와 일치시킨다.
• 실시간으로 대규모 환자 데이터셋(최대 10,000명)을 렲영하기 위해 병렬 계산 및 deck.gl을 활용한 계획된 최적화를 통해 확장성 문제를 해결한다.

Figure 1 : The processing of medical data in different forms is conducted by the back-end engine . It uses a multimodal model to make predictions and employs interpretability techniques to explain them. The front-end visualization facilitates interactive exploration for improved diagnostic learning.

실험 결과

연구 질문

• RQ1 역사적 의료 기록을 어떻게 효과적으로 시뮬레이션 기반 의료 교육에서 진단 학습을 지원하는 대체자료로 활용할 수 있는가?
• RQ2 다중모달 시각적 분석은 초보 의료진이 각 모달리티의 기여도를 진단 결정에 어떻게 이해하는지 개선하는가?
• RQ3 상호작용 가능한 시각화 및 모델 해석 기능은 진단 학습 과정에서 자기 인식과 자기 조정 능력을 어떻게 지원하는가?
• RQ4 임상의사 및 데이터 과학자 관점에서 AI 보강 시각적 분석 도구를 의료 훈련에 활용할 때의 인식된 이점과 한계는 무엇인가?
• RQ5 대규모 복잡한 다중모달 임상 데이터셋과 함께 효과적으로 확장되면서도 사용성과 해석 가능성 유지가 가능한 시각적 분석 시스템은 어떻게 설계할 수 있는가?

주요 결과

• 시스템은 직관적인 시각화를 통해 신규 의료진이 다중모달 데이터를 탐색할 수 있도록 하여, 모달리티 의존성의 불균형을 탐지하고 진단 추론 이해 능력을 향상시켰다.
• 전문가 인터뷰 결과, DiagnosisAssistant는 사용자가 사례를 비교하고 모델 예측을 분석함으로써 반성적 학습을 지원하여 진단 자기 인식 능력을 향상시킨다는 것이 확인되었다.
• 두 개의 사례 연구에서 시스템이 모델 행동을 효과적으로 드러내고 데이터 해석의 괴리점을 강조함으로써 잠재적 진단 오류를 식별하는 데 기여하는 것으로 나타났다.
• 임베딩 전이 시각화는 환자 군집과 진행 패턴을 성공적으로 시각화하여 질환 궤적의 종단적 이해를 지원했다.
• 사후 해석 기법의 통합은 모델 결정에 대한 실질적인 통찰을 제공했지만, 고위험 임상 적용에서는 신뢰성에 대한 우려가 제기되었다.
• 확장성 문제로 대규모 이미지 및 산점도 렌더링에 어려움이 있었지만, 향후 최적화(예: deck.gl, 계층적 군집화)를 통해 최대 10,000명의 환자 데이터셋을 지원할 것으로 기대된다.

Figure 2 : The system interface of DiagnosisAssistant contains (A) the User panel, (B) the Embedding Transition View, (C) the Modality Exploration View, and (D) the Comparison View.