[論文レビュー] Learning the Graphical Structure of Electronic Health Records with Graph Convolutional Transformer

Edward Choi, Zhen Xu+5 more|arXiv (Cornell University)|Jun 11, 2019

Machine Learning in Healthcare参考文献 28被引用数 4

ひとこと要約

本稿では、構造情報が欠落している状況下でも、電子歴史記録（EHR）の隠れたグラフ構造を共同で学習し、教師あり予測タスクを実行する新しいモデルであるグラフ畳み込みトランスフォーマー（GCT）を提案する。条件付き確率の事前知識とアテンションマスクを用いて自己注意機構をガイドすることで、合成および実世界のEHRデータにおいて、ベースラインモデルを上回る性能を示した。

ABSTRACT

Effective modeling of electronic health records (EHR) is rapidly becoming an important topic in both academia and industry. A recent study showed that using the graphical structure underlying EHR data (e.g. relationship between diagnoses and treatments) improves the performance of prediction tasks such as heart failure prediction. However, EHR data do not always contain complete structure information. Moreover, when it comes to claims data, structure information is completely unavailable to begin with. Under such circumstances, can we still do better than just treating EHR data as a flat-structured bag-of-features? In this paper, we study the possibility of jointly learning the hidden structure of EHR while performing supervised prediction tasks on EHR data. Specifically, we discuss that Transformer is a suitable basis model to learn the hidden EHR structure, and propose Graph Convolutional Transformer, which uses data statistics to guide the structure learning process. The proposed model consistently outperformed previous approaches empirically, on both synthetic data and publicly available EHR data, for various prediction tasks such as graph reconstruction and readmission prediction, indicating that it can serve as an effective general-purpose representation learning algorithm for EHR data.

研究の動機と目的

• 完全な構造情報（例：診断-治療関係）が入手できない状況下で、EHRデータから効果的な表現を学習する課題に対処すること。
• 自己注意機構が明示的な教師信号なしに、意味のあるEHRグラフ構造を発見できるかどうかを検証すること。
• 構造の学習と下流の予測タスクを共同で行う汎用的な表現学習フレームワークを構築すること。
• アテンションマスクと正則化を用いて事前知識を統合することで、構造学習と予測性能が向上することを実証的に検証すること。

提案手法

• 自己注意機構にアテンションマスクと条件付き確率に基づく正則化を統合した、変更を加えたトランスフォーマーモデルであるグラフ畳み込みトランスフォーマー（GCT）を提案する。
• 自己注意の学習をガイドするため、条件付き確率行列Pを事前知識として用いる。これにより、注意ヘッドがEHR特徴間の妥当な関係に集中するよう保証される。
• 正規化と学習可能なパラメータを注意機構に適用し、事前知識とデータ駆動型の注意パターンのバランスを取る。
• 各ヘッドが、事前確率行列Pから導出されたマスクによって制約されるマルチヘッド自己注意機構を採用する。
• グラフ再構成や診断-治療分類といった教師ありタスクを用いて、EHRデータ上でエンドツーエンドでモデルを訓練する。
• KLダイバージェンスとアテンション可視化を用いて、モデルの注意が真の隣接構造をどの程度正確に近似しているかを評価する。

実験結果

リサーチクエスチョン

• RQ1 明示的な構造が提供されない状況下で、トランスフォーマーモデルの自己注意機構が意味のあるEHRグラフ構造を学習できるか？
• RQ2 アテンションマスクと条件付き確率正則化を用いて事前知識を統合することで、構造学習と予測性能が向上するか？
• RQ3 合成および実際のEHRデータにおいて、GCTは標準的なトランスフォーマーやGCNベースのモデルと比べて、隠れたEHR構造をどの程度効果的に学習できるか？
• RQ4 ガイドされた注意機構は、再入院予測やグラフ再構成といった下流タスクの性能をどの程度向上させるか？

主な発見

• GCTは、合成および実際のEHRデータの両方において、標準的なトランスフォーマーや固定事前知識を用いたGCNと比較して、グラフ再構成および再入院予測タスクで優れた性能を示した。
• GCTは、予測された隣接行列と真の隣接行列との間のKLダイバージェンスが平均0.48にとどまり、標準的なトランスフォーマー（0.62）よりも構造回復が優れていた。
• GCTは、初期の自己注意ブロックで真の構造に近い注意分布を学習し、より深い層にかけて徐々に真の隣接構造に適応した。
• 固定事前知識を用いたGCN（GCN P）と比較して、GCTはグラフ再構成および診断-治療分類タスクで優れた性能を示し、エンドツーエンドでの構造学習の利点を示した。
• アテンション可視化の結果、GCTは初期段階で事前行列Pに依存していたが、段階的に真の構造に一致するように注意を調整した。これは、ガイドされていないトランスフォーマーモデルとは対照的であった。
• 注意マップが真の構造と完全に一致していなくても、GCTは依然としてグラフ再構成タスクで優れた性能を発揮しており、構造発見における注意メカニズムの頑健性を示した。