[論文レビュー] Machine Learning for Multimodal Electronic Health Records-based Research: Challenges and Perspectives

Ziyi Liu, Jiaqi Zhang+4 more|arXiv (Cornell University)|Nov 9, 2021

Machine Learning in Healthcare参考文献 78被引用数 5

ひとこと要約

本論文は、臨床予測タスクの改善を目的として、構造化済みおよび非構造化電子歴史記録（EHR）データを統合する機械学習およびディープラーニング手法をレビューする。94件のマルチモーダルEHR統合研究を分析し、主な技術、データ統合における課題、およびより正確で頑健な臨床AIシステムのための今後の研究方向性を特定する。

ABSTRACT

Background: Electronic Health Records (EHRs) contain rich information of patients' health history, which usually include both structured and unstructured data. There have been many studies focusing on distilling valuable information from structured data, such as disease codes, laboratory test results, and treatments. However, relying on structured data only might be insufficient in reflecting patients' comprehensive information and such data may occasionally contain erroneous records. Objective: With the recent advances of machine learning (ML) and deep learning (DL) techniques, an increasing number of studies seek to obtain more accurate results by incorporating unstructured free-text data as well. This paper reviews studies that use multimodal data, i.e. a combination of structured and unstructured data, from EHRs as input for conventional ML or DL models to address the targeted tasks. Materials and Methods: We searched in the Institute of Electrical and Electronics Engineers (IEEE) Digital Library, PubMed, and Association for Computing Machinery (ACM) Digital Library for articles related to ML-based multimodal EHR studies. Results and Discussion: With the final 94 included studies, we focus on how data from different modalities were combined and interacted using conventional ML and DL techniques, and how these algorithms were applied in EHR-related tasks. Further, we investigate the advantages and limitations of these fusion methods and indicate future directions for ML-based multimodal EHR research.

研究の動機と目的

• 構造化済みおよび非構造化EHRデータの機械学習およびディープラーニング技術を用いた統合を検討すること。
• 臨床予測タスクにおける有効性を示す共通の統合戦略を同定すること。
• 現在のマルチモーダルEHR研究における制限、特にデータ品質およびモデルの解釈可能性の問題を強調すること。
• マルチモーダルEHRベースのML研究におけるメソドロジーのトレンドと未解決課題を包括的に概説すること。
• 将来的な研究を支援するため、モデル性能および臨床応用可能性を向上させるための主要な方向性を提示すること。

提案手法

• IEEE Xplore、PubMed、ACM Digital Libraryを対象とした系統的文献サーチにより、機械学習ベースのマルチモーダルEHR研究を調査。
• 構造化データ（例：検査結果、診断コード）および非構造化データ（例：臨床ノート）の両方を用いた94件の研究を含める。
• マルチモーダル学習パイプラインにおける統合戦略を、早期統合、後期統合、ハイブリッド統合に分類。
• マルチモーダルEHR表現学習のためのディープラーニングアーキテクチャ（例：早期連結、アテンションメカニズム、後期統合モデル）を分析。
• 疾患予測、リスクスコアリング、フェノタイプ同定などの臨床タスクにおけるモデル性能を評価。
• データの多様性、欠損モダリティ、モデルの解釈可能性など、技術的および臨床的課題を同定。

実験結果

リサーチクエスチョン

• RQ1 既存の機械学習モデルは、臨床予測のために構造化済みおよび非構造化EHRデータをどのように統合しているか？
• RQ2 マルチモーダルEHR学習において、最も効果的な統合戦略（早期、後期、またはハイブリッド）は何か？
• RQ3 現在のマルチモーダルEHR研究における主な制限および課題は何か？
• RQ4 異なるモデルアーキテクチャは、マルチモーダルEHR入力を用いたさまざまな臨床タスクでどのように性能を発揮するか？
• RQ5 マルチモーダルEHRベースの臨床AIを発展させるために、最も有望な今後の研究方向性は何か？

主な発見

• 早期統合と後期統合戦略を組み合わせたハイブリッド統合手法は、複数の研究で単一モード手法よりも優れた性能を示した。
• アテンションメカニズムは、非構造化テキスト特徴の重要度を重みづけするために頻繁に使用され、モデルの解釈性と性能を向上させた。
• 構造化データに加えて非構造化データも使用した研究は、構造化データのみに依存する研究よりも、疾患予測タスクで一貫して優れた性能を示した。
• 特に現実世界のEHRシステムにおいて、モダリティ間で欠損または不整合なデータを処理する課題が依然として深刻である。
• 一部のモデルは高い予測精度を示したが、モデルの解釈性と臨床応用可能性が頻繁に制限要因として挙げられた。
• 今後の研究では、データの多様性に対応でき、臨床意思決定支援を実現できる、頑健で一般化可能なモデルの開発を優先すべきである。