[論文レビュー] Leveraging Historical Medical Records as a Proxy via Multimodal Modeling and Visualization to Enrich Medical Diagnostic Learning

Yang Ouyang, Yuchen Wu+7 more|arXiv (Cornell University)|Jul 23, 2023

Data Visualization and Analytics被引用数 4

ひとこと要約

本論文では、診断学習を強化するための視覚的分析システムであるDiagnosisAssistantを提案する。このシステムは、歴史的なマルチモーダル医療記録を代理として活用し、医学生や初心者の医師の診断学習を支援する。埋め込み遷移、モダリティ別ビュー、比較的患者分析といったインタラクティブなビジュアライゼーションと、マルチモーダル機械学習モデルを統合することで、ユーザーはモデルの予測を解釈し、各モダリティの寄与度を理解し、診断的推論を改善できる。この有効性は、事例研究と専門家フィードバックによって検証された。

ABSTRACT

Simulation-based Medical Education (SBME) has been developed as a cost-effective means of enhancing the diagnostic skills of novice physicians and interns, thereby mitigating the need for resource-intensive mentor-apprentice training. However, feedback provided in most SBME is often directed towards improving the operational proficiency of learners, rather than providing summative medical diagnoses that result from experience and time. Additionally, the multimodal nature of medical data during diagnosis poses significant challenges for interns and novice physicians, including the tendency to overlook or over-rely on data from certain modalities, and difficulties in comprehending potential associations between modalities. To address these challenges, we present DiagnosisAssistant, a visual analytics system that leverages historical medical records as a proxy for multimodal modeling and visualization to enhance the learning experience of interns and novice physicians. The system employs elaborately designed visualizations to explore different modality data, offer diagnostic interpretive hints based on the constructed model, and enable comparative analyses of specific patients. Our approach is validated through two case studies and expert interviews, demonstrating its effectiveness in enhancing medical training.

研究の動機と目的

• シミュレーションベースの医療教育（SBME）が手技スキルに焦点を当てており、総合的診断的推論に欠けているというギャップを是正すること。
• 経験不足や認知バイアスのため、画像、検査結果、臨床ノートなどのマルチモーダル臨床データを統合するのが困難な初心者の医師を支援すること。
• 熟練医の臨床経験に代わる客観的かつデータ駆動の例を、歴史的症例から提供することで、メンターシップへの依存を軽減すること。
• 視覚的アナリティクスと事後解釈技術を用いて、臨床意思決定におけるマルチモーダルAIモデルの解釈可能性を向上させること。
• 比較的分析とモダリティレベルのインサイトを可能にすることで、診断的学習サイクルにおける自己認識と自己調整を支援すること。

提案手法

• 本システムは、頸椎症の患者を対象とした実世界の臨床データセットを用いて訓練されたマルチモーダル機械学習モデルを採用しており、レントゲン画像、検査結果、臨床ノート、人口統計データを統合している。
• モデルの予測を解釈し、各モダリティの寄与度を強調するために、事後解釈技術（例：注目マップ、勾配ベースの感度）を適用している。
• インタラクティブなビジュアルアナリティクスインターフェースには、患者のクラスタリングと経路分析を可能にする埋め込み遷移ビュー、モダリティレベルの特徴重要度を示すトーレムップ、並べて比較可能な症例分析のための比較的患者ビューが含まれる。
• 本システムは、モダリティ間およびモダリティ内での探索を可能にし、ユーザーがデータパターンを検査し、モデルの信頼度を評価し、症例間での診断的推論の流れを追跡できる。
• 視覚的インタラクションが診断的トレーニングの認知的段階（明確化、観察、自己反顧）と整合するよう、学習サイクルフレームワークに基づいて設計されている。
• 大規模な患者データセット（最大10,000名）のリアルタイムレンダリングを実現するため、並列計算とdeck.glを活用した最適化を計画することでスケーラビリティを確保している。

Figure 1 : The processing of medical data in different forms is conducted by the back-end engine . It uses a multimodal model to make predictions and employs interpretability techniques to explain them. The front-end visualization facilitates interactive exploration for improved diagnostic learning.

実験結果

リサーチクエスチョン

• RQ1 どのようにして歴史的医療記録をシミュレーションベースの医療教育における診断的学習を支援するための代理として効果的に活用できるか？
• RQ2 マルチモーダルビジュアライゼーションは、初心者の医師が診断意思決定におけるモダリティごとの寄与度をどの程度理解を深めるのに有効か？
• RQ3 インタラクティブなビジュアライゼーションとモデルの解釈性機能は、診断的学習プロセスにおける自己認識と自己調整をどのように支援するか？
• RQ4 臨床医およびデータサイエンティストの視点から見た場合、AI補助ビジュアルアナリティクスが医療教育に与えるとされる利点と制限は何か？
• RQ5 大規模で複雑なマルチモーダル臨床データセットと併用する場合に、視覚的アナリティクスシステムをどのように設計すれば、使いやすさと解釈可能性を維持しながら効果的にスケーリングできるか？

主な発見

• 本システムは、直感的なビジュアライゼーションを通じて初心者の医師がマルチモーダルデータを探索できるようにし、モダリティへの依存の不均衡を検出する能力や診断的推論の理解を向上させた。
• 専門家インタビューの結果、DiagnosisAssistantは、症例を比較し、モデルの予測を分析することで、自己反顧的学習を支援し、診断的自己認識を高めることに寄与することが確認された。
• 2件の事例研究により、本システムはモデルの挙動を効果的に可視化し、データ解釈の不一致を浮き彫りにすることで、診断ミスの可能性を特定する支援ができた。
• 埋め込み遷移ビューは、患者のクラスターや進行パターンを成功裏に可視化し、疾患経路の縦断的理解を支援した。
• 事後解釈技術の統合により、モデル意思決定に関する実用的なインサイトが得られたが、高リスク臨床用途では信頼性に関する懸念が指摘された。
• スケーラビリティの課題が判明したが、特に画像や散布図の描画に課題があった。今後の最適化（例：deck.gl、階層的クラスタリング）により、最大10,000名のデータセットを対象とした運用が期待される。

Figure 2 : The system interface of DiagnosisAssistant contains (A) the User panel, (B) the Embedding Transition View, (C) the Modality Exploration View, and (D) the Comparison View.