[論文レビュー] Multi-layer Representation Learning for Medical Concepts

Edward Choi, Mohammad Taha Bahadori+3 more|arXiv (Cornell University)|Feb 17, 2016

Topic Modeling参考文献 34被引用数 10

ひとこと要約

この論文では、EHRデータから訪問内共起性および訪問間の順序パターンを活用することで、解釈可能で低次元の医療コードおよび患者訪問の表現を学習する2層構造のニューラルネットワーク、Med2Vecを提案する。予測タスクにおいてSkip-gram、GloVe、スタックドオートエンコーダーなどのベースラインを上回り、臨床的意味のある解釈性を専門家による検証によって実現している。

ABSTRACT

Learning efficient representations for concepts has been proven to be an important basis for many applications such as machine translation or document classification. Proper representations of medical concepts such as diagnosis, medication, procedure codes and visits will have broad applications in healthcare analytics. However, in Electronic Health Records (EHR) the visit sequences of patients include multiple concepts (diagnosis, procedure, and medication codes) per visit. This structure provides two types of relational information, namely sequential order of visits and co-occurrence of the codes within each visit. In this work, we propose Med2Vec, which not only learns distributed representations for both medical codes and visits from a large EHR dataset with over 3 million visits, but also allows us to interpret the learned representations confirmed positively by clinical experts. In the experiments, Med2Vec displays significant improvement in key medical applications compared to popular baselines such as Skip-gram, GloVe and stacked autoencoder, while providing clinically meaningful interpretation.

研究の動機と目的

• 高次元の医療概念のEHRデータにおける効率的でスケーラブルかつ解釈可能な表現を学ぶ課題に対処すること。
• 患者訪問記録における訪問内医療コードの共起性と訪問間の時間的順序をモデル化すること。
• 専門家の医療知識や教師あり学習を必要とせず、臨床的に解釈可能な結果をもたらす表現学習手法を開発すること。
• 実際の医療応用において、Skip-gram、GloVe、スタックドオートエンコーダーなどの既存ベースラインを上回るスケーラビリティと性能向上を示すこと。
• 臨床専門家によるユーザースタディを通じて、学習された表現の解釈可能性を検証すること。

提案手法

• Med2Vecは2層構造のニューラルネットワークアーキテクチャを採用する。1層目は訪問内での共起パターンからコードレベルの表現を学習し、2層目は訪問の順序から訪問レベルの表現を学習する。
• コードの共起性と訪問間の順序関係を両方モデル化するために、修正版のSkip-gram目的関数を適用する。
• 大規模なEHRデータセット（数百万件の訪問を含む）における訓練効率とスケーラビリティを向上させるために、ネガティブサンプリングを用いる。
• 各訪問を「文」とみなし、その中にある医療コードを「単語」として、コンテキストウィンドウ内に位置づけることで、訪問レベルの表現を学習する。
• ロジスティック回帰と特徴量重要度分析を用いて、各訪問表現に寄与する主要なコード座標を分析することで、解釈性を実現する。
• 臨床専門家が、学習されたベクトル座標が臨床的に関連する疾患クラスタ（例：赤血球球状病変、てんかん、染色体奇形）に対応していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤー表現学習フレームワークは、EHRデータにおける共起性と順序関係を効果的に捉え、医療概念表現の質を向上させることができるか？
• RQ2 Med2Vecは、既存のベースラインと比較して、より正確なだけでなく、臨床的に解釈可能な表現を生成するか？
• RQ3 学習されたコードおよび訪問表現は、実世界の医療予測タスクにおける性能向上にどの程度寄与するか？
• RQ4 どの特定の医療コードクラスタが、CRGレベルなどの臨床的アウトカムに対して予測力が強く、意味的に解釈可能か？
• RQ5 300万件を超える訪問と数万種類の医療コードを含む大規模なEHRデータセットに対しても、モデルは効果的にスケーリング可能か？

主な発見

• Med2Vecは、臨床的リスクグループ（CRG）の予測において、Skip-gram、GloVe、スタックドオートエンコーダーを顕著に上回り、優れた表現品質を示した。
• モデルは高いスケーラビリティを達成し、300万件および550万件の訪問を含む2つの大規模データセットにおいて、正常に表現を学習した。
• 臨床専門家が確認したところ、学習された埋め込み空間における上位寄与コード座標は、サルコイドーシス、てんかん、先天性染色体異常など、臨床的に意味のある疾患クラスタに対応していた。
• 先天性染色体異常に関連するコード座標190と、先天性麻痺に関連する座標199が、高CRGレベルの強力な予測要因であることが特定され、臨床的直感と一致した。
• 訪問座標50は、サルコイドーシス患者およびスポーツ関連怪我を負った患者で強く活性化され、訪問座標41は脳損傷およびてんかん患者と関連していた。これにより、臨床的妥当性が裏付けられた。
• 臨床専門家によるユーザースタディを通じて、モデルの解釈性が検証され、学習された表現が現実の臨床的関係を的確に反映していることが確認された。