[論文レビュー] Integrated multimodal artificial intelligence framework for healthcare applications

Luis R. Soenksen, Yu Ma+8 more|arXiv (Cornell University)|Feb 25, 2022

Machine Learning in Healthcare被引用数 10

ひとこと要約

本稿では、表形式データ、時系列データ、テキスト、画像データを用いた医療分野におけるマルチモーダルAIモデルのトレーニングを統合的かつ一般化可能なパイプラインとして提供する、医療分野における包括的AI（HAIM）フレームワークを提案する。34,537件のサンプルからなる多様な臨床データセット上で評価された結果、HAIMでトレーニングされたモデルは、12の予測タスク（胸部画像病変診断、滞在期間予測、48時間以内の死亡予測を含む）において、単一モダリティアプローチを6–33%上回った。Shapley値分析により、タスクごとにモダリティ固有の寄与度が明らかになった。

ABSTRACT

Artificial intelligence (AI) systems hold great promise to improve healthcare over the next decades. Specifically, AI systems leveraging multiple data sources and input modalities are poised to become a viable method to deliver more accurate results and deployable pipelines across a wide range of applications. In this work, we propose and evaluate a unified Holistic AI in Medicine (HAIM) framework to facilitate the generation and testing of AI systems that leverage multimodal inputs. Our approach uses generalizable data pre-processing and machine learning modeling stages that can be readily adapted for research and deployment in healthcare environments. We evaluate our HAIM framework by training and characterizing 14,324 independent models based on HAIM-MIMIC-MM, a multimodal clinical database (N=34,537 samples) containing 7,279 unique hospitalizations and 6,485 patients, spanning all possible input combinations of 4 data modalities (i.e., tabular, time-series, text, and images), 11 unique data sources and 12 predictive tasks. We show that this framework can consistently and robustly produce models that outperform similar single-source approaches across various healthcare demonstrations (by 6-33%), including 10 distinct chest pathology diagnoses, along with length-of-stay and 48-hour mortality predictions. We also quantify the contribution of each modality and data source using Shapley values, which demonstrates the heterogeneity in data modality importance and the necessity of multimodal inputs across different healthcare-relevant tasks. The generalizable properties and flexibility of our Holistic AI in Medicine (HAIM) framework could offer a promising pathway for future multimodal predictive systems in clinical and operational healthcare settings.

研究の動機と目的

• 複数のデータモダリティを統合する汎用的でエンドツーエンドのフレームワークの開発。
• 多様な医療応用分野におけるマルチモーダルAIモデルのスケーラブルなトレーニングと評価の実現。
• 説明可能なAI技術を用いて、各データモダリティおよびデータソースの予測性能への相対的寄与度を定量化すること。
• さまざまな臨床タスクにおいて、マルチモーダルアプローチが単一モダリティアプローチを常に上回ることを示すこと。
• 臨床および運用上の医療現場に適したデプロイ可能で柔軟なパイプラインの提供。

提案手法

• HAIMフレームワークは、表形式、時系列、テキスト、医療画像の4つのモダリティにおける標準化されたデータ前処理および機械学習モデリングステージを統合する。
• すべての入力モダリティの組み合わせをサポートし、マルチモーダルと単一モダリティの学習設定を体系的に評価可能にする。
• HAIM-MIMIC-MMデータセット（34,537件のサンプル、6,485名の患者を含むマルチモーダル臨床データベース）上で、14,324個の独立したモデルを統一パイプラインでトレーニングする。
• モデルの性能は、10種類の胸部病変診断、滞在期間予測、48時間以内の死亡予測を含む12の予測タスクで評価される。
• 各モダリティおよびデータソースのモデル性能への寄与度を定量化するためにShapley値が計算され、解釈可能性およびモダリティの重要度分析が可能になる。
• 研究および実際の臨床現場への展開に適応可能なフレームワークとして設計されており、医療環境全体にわたる一般化可能性に重点を置いている。

実験結果

リサーチクエスチョン

• RQ1 統一的で一般化可能なフレームワークは、複数の臨床データモダリティを効果的に統合し、予測性能を向上させることができるか？
• RQ2 さまざまな臨床タスクにおいて、異なるモダリティの組み合わせがモデル性能にどのように寄与するか？
• RQ3 実際の医療現場応用において、マルチモーダルモデルはどの程度単一モダリティモデルを上回るか？
• RQ4 どのデータモダリティおよびソースが、さまざまな臨床タスクにおいてモデル性能に最も顕著に寄与しているか？
• RQ5 Shapley値のような説明可能なAI技術は、多様な医療予測タスクにおいて、モダリティの多様な重要度を信頼性を持って定量化できるか？

主な発見

• HAIMフレームワークは、12の臨床予測タスクにおいて、単一モダリティモデルを6%から33%の範囲で一貫して上回る性能向上を達成した。
• マルチモーダルモデルは、10種類の異なる胸部病変診断、滞在期間予測、48時間以内の死亡予測において、顕著に単一モダリティベースラインを上回った。
• Shapley値分析により、モダリティの重要度が多様であることが明らかになった：病変診断では画像およびテキストモダリティが最も寄与し、死亡予測および滞在期間予測では時系列および表形式データがより大きな影響を示した。
• フレームワークは、14,324のすべてのモデル設定において強固な性能を示し、多様な入力組み合わせにわたるスケーラビリティおよび一般化可能性を確認した。
• 個々のデータソースの寄与度はタスクによって変動し、最適なパフォーマンスを得るにはマルチモーダル統合の必要性が強調された。
• HAIMフレームワークは、臨床および運用上の医療応用に適したデプロイ可能で、説明可能かつ柔軟なパイプラインを提供する。