[論文レビュー] GRAM: Graph-based Attention Model for Healthcare Representation Learning

Edward Choi, Mohammad Taha Bahadori+3 more|arXiv (Cornell University)|Nov 21, 2016

Machine Learning in Healthcare参考文献 28被引用数 99

ひとこと要約

GRAMは医療オントロジーをグラフベースのアテンション機構に統合して、EHRデータの堅牢で解釈可能な葉コード表現を形成し、データ不足下で予測性能を向上させる。

ABSTRACT

Deep learning methods exhibit promising performance for predictive modeling in healthcare, but two important challenges remain: -Data insufficiency:Often in healthcare predictive modeling, the sample size is insufficient for deep learning methods to achieve satisfactory results. -Interpretation:The representations learned by deep learning methods should align with medical knowledge. To address these challenges, we propose a GRaph-based Attention Model, GRAM that supplements electronic health records (EHR) with hierarchical information inherent to medical ontologies. Based on the data volume and the ontology structure, GRAM represents a medical concept as a combination of its ancestors in the ontology via an attention mechanism. We compared predictive performance (i.e. accuracy, data needs, interpretability) of GRAM to various methods including the recurrent neural network (RNN) in two sequential diagnoses prediction tasks and one heart failure prediction task. Compared to the basic RNN, GRAM achieved 10% higher accuracy for predicting diseases rarely observed in the training data and 3% improved area under the ROC curve for predicting heart failure using an order of magnitude less training data. Additionally, unlike other methods, the medical concept representations learned by GRAM are well aligned with the medical ontology. Finally, GRAM exhibits intuitive attention behaviors by adaptively generalizing to higher level concepts when facing data insufficiency at the lower level concepts.

研究の動機と目的

• 医療知識に整合した解釈可能な表現の必要性とともに、データ不足下での医療予測のための深層学習を動機づける。
• 階層的な医療オントロジーを活用して葉の医療概念表現を豊かにする。
• データ駆動の適合度スコアに基づいて葉の概念と祖先を組み合わせるエンドツーエンドで訓練可能なアテンション機構を開発する。

提案手法

• 葉の医療コードをアテンション機構を用いて、葉の埋め込みと祖先の埋め込みの凸結合として表現する。
• 祖先に対するアテンション重みを計算するため、1層のMLPで互換性関数 f(ei, ej) を定義する。
• 葉-祖先アテンションモジュールを、疾患発症タスクの予測ニューラルネットワーク（RNN/GRU/GRU変種）とエンドツーエンドで訓練する。
• 祖先を含む拡張訪問を用いたGloVe由来の共起埋め込みを用いて、葉ノードと非葉ノードの基本埋め込みを初期化する。
• 葉-祖先埋め込み行列を多重ホット訪問ベクトルと乗算して訪問を埋め込み、それをRNNに入力して予測する。
• GRAMの variants をRNNベースラインおよびアブレーションと比較する。

実験結果

リサーチクエスチョン

• RQ1 GRAMは希少疾患で基本的なRNNより予測精度を改善できるか？
• RQ2 オントロジー情報に基づく葉表現は医療知識と一致し、アテンションパターンを通じて解釈可能か？
• RQ3 データの可用性が異なる場合や多様な医療データセット（Sutter PAMF, MIMIC-III, Sutter HF コホート）でGRAMはどう動作するか？
• RQ4 オントロジーを意識した共起（GloVe）で葉/非葉埋め込みを初期化することが下流タスクに与える影響は？

主な発見

• GRAMは希少疾患で基本的なRNNより最大で10%高い精度を達成する。
• GRAMは心不全予測のAUCを最大3%向上させ、訓練データ量が著しく少ない場合でも性能が改善する。
• オントロジー情報を用いた葉の表現は医療知識と整合し、データが限られるほど祖先を重みづけして解釈可能なアテンションを示す。
• 基本埋め込みをオントロジー対応の共起（GRAM+）で初期化することで、特に系列診断予測で同等または改善した性能が得られる。
• GRAMは学習オーバーヘッドを控えめに追加する（エポックあたり約50%増の時間）ものの、データ不足下でより良い性能を発揮する。