[論文レビュー] Deep Multi-modal Fusion of Image and Non-image Data in Disease Diagnosis and Prognosis: A Review

Can Cui, Haichun Yang+7 more|arXiv (Cornell University)|Mar 25, 2022

AI in cancer detection被引用数 9

ひとこと要約

本レビューは、疾患の診断および予後予測の向上を目的とした、医療画像と非画像データ（例：臨床的、ゲノム的）の深層多モーラル統合に関する最近の進展を統合する。エンドツーエンドの学習ワークフローを概説し、統合アーキテクチャ（早期、遅延、ハイブリッド）を評価し、パーソナライズド・メディスンにおける堅牢で解釈可能で臨床的有用性のあるAIシステムを実現するための主な課題と今後の方向性を特定する。

ABSTRACT

The rapid development of diagnostic technologies in healthcare is leading to higher requirements for physicians to handle and integrate the heterogeneous, yet complementary data that are produced during routine practice. For instance, the personalized diagnosis and treatment planning for a single cancer patient relies on the various images (e.g., radiological, pathological, and camera images) and non-image data (e.g., clinical data and genomic data). However, such decision-making procedures can be subjective, qualitative, and have large inter-subject variabilities. With the recent advances in multi-modal deep learning technologies, an increasingly large number of efforts have been devoted to a key question: how do we extract and aggregate multi-modal information to ultimately provide more objective, quantitative computer-aided clinical decision making? This paper reviews the recent studies on dealing with such a question. Briefly, this review will include the (1) overview of current multi-modal learning workflows, (2) summarization of multi-modal fusion methods, (3) discussion of the performance, (4) applications in disease diagnosis and prognosis, and (5) challenges and future directions.

研究の動機と目的

• 異種の医療データ（画像と非画像モダリティ）を統合するニーズの増大に応えるため、より客観的で定量的な臨床意思決定支援を実現すること。
• 医療診断および予後予測における現在の多モーラル学習ワークフローを体系的に分析すること。
• 臨床現場におけるさまざまな多モーラル統合技術の性能と限界を評価すること。
• 実世界の医療応用における多モーラルディープラーニングの展開に向けた、未解決の課題と今後の研究方向性を特定すること。
• 研究者および臨床医向けに、最先端の統合手法とその臨床的意義に関する包括的な参考資料を提供すること。

提案手法

• 医療分野における多モーラル学習ワークフロー（データ前処理、特徴抽出、統合戦略を含む）を調査・分類すること。
• 統合手法を早期統合、遅延統合、ハイブリッド（中間）統合に分類し、医療文脈における長所と短所を分析すること。
• 注意メカニズム、トランスフォーマー、グラフニューラルネットワークなどの深層学習アーキテクチャが、クロスモダリティ相互作用をどのようにモデル化するかを検討すること。
• 異種のデータソース間でのモダリティの不均衡、欠損データ、ドメインシフトに対処するための技術をレビューすること。
• モデルの解釈可能性と臨床的有用性を分析し、診断および予後予測AIシステムにおける透明性の重要性を強調すること。
• 多様な医療データセットおよび臨床タスクにおけるモデルの一般化性、耐性、検証に関する知見を統合すること。

実験結果

リサーチクエスチョン

• RQ1 早期統合、遅延統合、ハイブリッド統合といった異なる多モーラル統合戦略は、医療診断および予後予測タスクでどのように性能を発揮するか？
• RQ2 ゲノム情報や電子的健康記録などの非画像データと医療画像を統合するにあたり、主な技術的および臨床的課題は何か？
• RQ3 注意メカニズムやその他の深層学習コンponentsは、医療分野におけるクロスモダリティ表現学習をどのように改善できるか？
• RQ4 多モーラル医療AIシステムにおける解釈可能性、一般化性、臨床現場への展開における現在の限界は何か？
• RQ5 実世界での臨床応用に向けた多モーラル統合の発展を促進する上で、最も重要な今後の研究方向性は何か？

主な発見

• 早期統合と遅延統合戦略を組み合わせたハイブリッド統合手法は、モダリティ固有の特徴学習とクロスモダリティ相互作用の両方をバランスよく実現するため、優れた性能を発揮することが多い。
• 注意に基づく統合メカニズムは、予測プロセス中に異なるモダリティの重要性を動的に重み付けすることで、モデル性能を顕著に向上させる。
• 多モーラルモデルは、がんや神経変性疾患などの複雑な疾患において、単一モダリティのベースラインを常に上回る性能を示す。
• 進展は見られるが、多くのモデルは欠損データやモダリティシフトに対して耐性がなく、実世界への展開における重要なギャップを示している。
• 解釈可能性は依然として主要な課題であり、予測の根拠を臨床的に意味のある形で提示できるモデルはごく少数である。
• ゲノムデータおよび臨床データを医療画像と統合することで、腫瘍学および循環器学分野におけるリスク分類がより正確でパーソナライズドなものとなる。