[論文レビュー] Representation Learning for Electronic Health Records

Wei‐Hung Weng, Peter Szolovits|arXiv (Cornell University)|Sep 19, 2019

Machine Learning in Healthcare参考文献 137被引用数 18

ひとこと要約

本論文は、電子的健康記録（EHR）の表現学習手法について包括的なレビューを提供し、下位の要因を分離し、多様なEHRソースからの知識を凝縮する深層学習ベースの手法に焦点を当てる。意味のある、マルチモーダルで解釈可能な表現を学習することで、診断、リスク予測、フェノタイピングなどの下流の臨床タスクにおける性能が顕著に向上することを示している。

ABSTRACT

Information in electronic health records (EHR), such as clinical narratives, examination reports, lab measurements, demographics, and other patient encounter entries, can be transformed into appropriate data representations that can be used for downstream clinical machine learning tasks using representation learning. Learning better representations is critical to improve the performance of downstream tasks. Due to the advances in machine learning, we now can learn better and meaningful representations from EHR through disentangling the underlying factors inside data and distilling large amounts of information and knowledge from heterogeneous EHR sources. In this chapter, we first introduce the background of learning representations and reasons why we need good EHR representations in machine learning for medicine and healthcare in Section 1. Next, we explain the commonly-used machine learning and evaluation methods for representation learning using a deep learning approach in Section 2. Following that, we review recent related studies of learning patient state representation from EHR for clinical machine learning tasks in Section 3. Finally, in Section 4 we discuss more techniques, studies, and challenges for learning natural language representations when free texts, such as clinical notes, examination reports, or biomedical literature are used. We also discuss challenges and opportunities in these rapidly growing research fields.

研究の動機と目的

• 複雑で多様性に富んだEHRデータを、意味のある低次元表現に変換する課題に対処し、下流の臨床機械学習の性能を向上させること。
• エキスパートがキュレートした臨床特徴と自動表現学習のギャップを埋めるために、深層学習を活用し、EHRデータ内の隠れたパターンを捉えること。
• 分野知識と人間が理解可能な構造を学習済み表現に統合することで、モデルの解釈可能性と臨床的実用性を向上させること。
• 臨床ノート、検査結果、画像、請求データなど、異なるドメイン間およびマルチモーダルな表現学習を検討し、強固で一般化可能なモデルを構築すること。
• 臨床表現学習における主な課題、例えばデータ不足、時間的不規則性、モデルバイアス、プライバシー、因果関係の特定を特定すること。

提案手法

• 自己符号化器、変分自己符号化器（VAEs）、および系列モデル（例：RNN、Transformers）などの深層学習アーキテクチャを用い、EHRデータから密な低次元表現を学習する。
• UMLSメタテーザローグスおよびMeSH用語を強化したword2vecおよび依存関係ベースの単語埋め込みを適用し、臨床的自然言語表現の質を向上させる。
• 二言語辞書インダクションとクロスアテンション機構を用いて、異なる臨床的言語スタイル（例：専門的言語対一般言語）間の表現を一致・転送する。
• テキスト、検査結果、生命徴、画像などのマルチモーダルデータを統合し、統一された患者状態表現を学習するための共同埋め込み空間を用いる。
• UMLS CUIを用いた概念レベルのマッピングやリファインディング技術を活用し、分野知識を統合することで、単語および概念ベクトルの質を向上させる。
• アテンション機構と解釈可能なモデリングを用いて、モデルの説明可能性と臨床的信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして深層表現学習が、複雑で時間的に変化する多様なEHRデータを効果的に捉え、臨床予測の性能を向上させることができるか？
• RQ2 表現学習手法は、死亡率予測やリスク分類などのタスクにおいて、従来のエキスパートがキュレートした臨床スコアリングシステムをどの程度上回ることができるか？
• RQ3 分野知識および標準化された用語体系（例：UMLS、MeSH）を学習済み表現に統合することで、強固さと解釈可能性をどのように向上させることができるか？
• RQ4 臨床ノート、検査結果、医療画像の間で、クロスドメインおよびマルチモーダル表現学習の利点と制限は何か？
• RQ5 実世界のEHRシステムにおけるデータバイアス、プライバシー脅威、時間的不規則性に対して、表現学習モデルをどのようにしてより強固にすることができるか？

主な発見

• EHRからの表現学習は、従来の特徴工学的手法と比較して、診断支援、リスク予測、患者フェノタイピングなどの下流の臨床タスクにおける性能を顕著に向上させる。
• 分野知識とマルチモーダルデータを組み込んだ学習済み表現を用いるモデルは、集中治療における死亡率予測において、APACHE や SOFA といった古典的な臨床スコアリングシステムを上回る性能を示す。
• UMLSメタテーザローグスの知識を単語埋め込みに組み込むことで、EHRにおける自然言語表現の質と臨床的関連性が向上する。
• 二言語辞書インダクションなどのクロスドメインアライメント技術により、並列コーパスがなくても、専門的言語と一般言語の間での効果的な翻訳が可能になる。
• マルチモーダルおよびマルチタスク表現学習フレームワークは、病理学的メタデータ予測や類似タスクにおいて、より一般化可能で強固なモデルをもたらす。
• 技術の進展にもかかわらず、公平性、プライバシー、因果関係、臨床現場への導入における課題は依然として残っており、医療分野におけるより解釈可能で強固で、倫理的に配慮された表現学習の必要性が浮き彫りになっている。