[論文レビュー] Fusion of medical imaging and electronic health records with attention and multi-head machanisms

Cheng Jiang, Yihao Chen+4 more|arXiv (Cornell University)|Dec 22, 2021

Medical Imaging and Analysis被引用数 8

ひとこと要約

本論文では、ゲート付きマルチモodalユニット（GMU）内にマルチモーダルアテンションモジュールとマルチヘッド機構を組み込んだ、医療画像と電子的健康記録（EHR）を融合する新規フレームワークを提案する。EHRデータを活用してCNNベースの画像特徴抽出をガイドし、複数の部分空間における並列融合を可能にすることで、くも膜下出血の予後予測およびアルツハイマー病の分類において、タスク固有の特徴選択を改善し、最先端の性能を達成する。

ABSTRACT

Doctors often make diagonostic decisions based on patient's image scans, such as magnetic resonance imaging (MRI), and patient's electronic health records (EHR) such as age, gender, blood pressure and so on. Despite a lot of automatic methods have been proposed for either image or text analysis in computer vision or natural language research areas, much fewer studies have been developed for the fusion of medical image and EHR data for medical problems. Among existing early or intermediate fusion methods, concatenation of features from both modalities is still a mainstream. For a better exploiting of image and EHR data, we propose a multi-modal attention module which use EHR data to help the selection of important regions during image feature extraction process conducted by traditional CNN. Moreover, we propose to incorporate multi-head machnism to gated multimodal unit (GMU) to make it able to parallelly fuse image and EHR features in different subspaces. With the help of the two modules, existing CNN architecture can be enhanced using both modalities. Experiments on predicting Glasgow outcome scale (GOS) of intracerebral hemorrhage patients and classifying Alzheimer's Disease showed the proposed method can automatically focus on task-related areas and achieve better results by making better use of image and EHR features.

研究の動機と目的

• 臨床意思決定支援システムにおける医療画像とEHRデータの統合が限定的であるという問題に取り組む。
• 単純な特徴の連結に依存する従来の早期統合や中間統合手法の限界を克服する。
• EHRデータを活用して、特徴抽出段階で関連する画像領域の選択をガイドする。
• マルチヘッド機構を用いて複数の部分空間での表現学習を可能にすることで、特徴統合を強化する。
• Glasgow Outcome Scale（GOS）やアルツハイマー病の分類を含む、臨床予測タスクの性能を向上させる。

提案手法

• EHR特徴を用いて、CNNベースの特徴抽出中に医療画像の重要な領域に注目するマルチモーダルアテンションモジュールを導入する。
• 複数の部分空間で画像とEHR特徴を並列に統合できるように、ゲート付きマルチモーダルユニット（GMU）をマルチヘッド機構で拡張する。
• 既存のCNNアーキテクチャに変更を加えずに、提案されたアテンションおよびマルチヘッドモジュールを統合する。
• EHRデータを動的アテンションマップとして活用し、画像特徴学習の関連性と解釈可能性を向上させる。
• タスクの関連性に基づいて、モダリティ固有の特徴を適応的に組み合わせる学習可能な統合メカニズムを採用する。
• 臨床データセットにおける分類タスクのための交差エントロピー損失を用いて、エンドツーエンドのモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 EHRデータは、特徴抽出段階でタスクに適した画像領域の選択を効果的にガイドできるか？
• RQ2 統合プロセスにマルチヘッド機構を組み込むことで、単一ヘッドや連結ベースの手法と比較して性能が向上するか？
• RQ3 提案されたアテンションおよびマルチヘッド統合フレームワークは、既存の最先端手法を上回る性能を示せるか？
• RQ4 モデルのアテンションメカニズムは、くも膜下出血およびアルツハイマー病の臨床的関連領域と整合しているか？
• RQ5 EHRと画像データの統合は、GOS予測およびアルツハイマー病分類の予測精度をどの程度向上させるか？

主な発見

• 提案手法は、くも膜下出血患者のGlasgow Outcome Scale（GOS）予測において、ベースラインモデルを上回る優れた性能を達成した。
• 統合された画像とEHRデータを用いた場合、アルツハイマー病の分類精度が向上した。
• アテンションメカニズムは、脳MRIスキャンにおける臨床的関連領域を効果的に強調し、解釈可能性を向上させた。
• マルチヘッド統合機構により、複数の部分空間におけるより強固で多様な特徴表現学習が可能になった。
• GOS予測およびアルツハイマー病分類の両タスクで、最先端の結果を達成した。
• アブレーションスタディの結果、アテンションおよびマルチヘッドコンポーネントの両方が性能向上に顕著な寄与を示した。