[論文レビュー] Medical Concept Embedding with Time-Aware Attention

Xiangrui Cai, Jinyang Gao+4 more|arXiv (Cornell University)|Jun 6, 2018

Machine Learning in Healthcare参考文献 18被引用数 9

ひとこと要約

本論文は、連続的袋-単語（CBOW）フレームワーク内に時間に依存するアテンション機構を提案し、動的でソフトな時間的文脈を組み込んだ医療概念埋め込みを学習する。各医療概念の周囲の時間期間におけるアテンション重みをモデル化することで、急性疾患と慢性疾患のような可変な時間的スコープを捉え、公的および独自のEMRデータセット上でクラスタリングおよび最近傍探索タスクにおいて、5つの最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Embeddings of medical concepts such as medication, procedure and diagnosis codes in Electronic Medical Records (EMRs) are central to healthcare analytics. Previous work on medical concept embedding takes medical concepts and EMRs as words and documents respectively. Nevertheless, such models miss out the temporal nature of EMR data. On the one hand, two consecutive medical concepts do not indicate they are temporally close, but the correlations between them can be revealed by the time gap. On the other hand, the temporal scopes of medical concepts often vary greatly (e.g., extit{common cold} and extit{diabetes}). In this paper, we propose to incorporate the temporal information to embed medical codes. Based on the Continuous Bag-of-Words model, we employ the attention mechanism to learn a "soft" time-aware context window for each medical concept. Experiments on public and proprietary datasets through clustering and nearest neighbour search tasks demonstrate the effectiveness of our model, showing that it outperforms five state-of-the-art baselines.

研究の動機と目的

• EMRにおける医療概念埋め込みモデルの限界、すなわち時間的順序と疾患の可変持続時間の無視を是正すること。
• 固定サイズの窓に依存するのではなく、動的に医療概念の時間的文脈をモデル化すること。
• アテンション機構を用いて、医療概念の表現と「ソフト」な時間的スコープを同時に学習すること。
• より意味的かつ時間的に情報に基づいた埋め込みを用いて、クラスタリングや最近傍探索などの下流のヘルスケアアナリティクスタスクを改善すること。

提案手法

• 時間に依存するアテンション機構を導入することで、CBOWモデルを拡張し、ターゲット概念からの時間的近接度に応じて異なる重みを医療概念に割り当てる。
• 各医療概念は、時間期間における学習されたアテンション重みに基づく文脈窓に埋め込まれるため、固定窓ではなく「ソフト」な時間的スコープが可能になる。
• アテンション機構は時間的ギャップに基づいて文脈寄与度を計算し、急性疾患（例：風邪）は一時的な影響を持ち、慢性疾患（例：糖尿病）は長期間にわたる影響を持つ。
• 中央の医療概念をその時間的重み付き文脈から予測するように、ネガティブサンプリングを用いてエンドツーエンドでモデルを学習する。
• 時間的スコープは、ターゲット概念の前後（例：週単位）の時間単位の範囲として定義され、アテンションがこれらの単位に分布する。
• モデルは、時間的に関連する概念（例：近い時期に発生したもの）を優先し、遠く離れたまたは関係のない概念を低減するように学習する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル埋め込みモデルは、EMRにおける時間的文脈を効果的に統合し、医療概念表現を改善できるか？
• RQ2 急性疾患と慢性疾患の例における可変時間的スコープをモデル化することで、固定窓アプローチと比較して埋め込み品質にどのような影響を与えるか？
• RQ3 アテンションベースのソフト時間的文脈は、EMRデータにおけるクラスタリングおよび最近傍探索タスクの性能にどの程度向上をもたらすか？
• RQ4 本手法は、現実のEMRデータにおけるさまざまなデータセットサイズと時間的分布に対して、どの程度頑健か？

主な発見

• 提案されたMCEモデルは、NUH2012およびDE-SynPUFの2つのデータセットにおいて、クラスタリングおよび最近傍探索タスクで5つの最先端のベースラインを上回る性能を発揮した。
• DE-SynPUFデータセットでは、MCEモデルは窓サイズが拡大しても安定した性能を維持したが、CBOWおよびSkip-gramは顕著に性能を低下させた。これは、より優れたスケーラビリティを示している。
• NUH2012では、MCEモデルが30週間の時間的スコープでピーク性能を達成した。これは1年間のEMRデータに対して最適なカバレッジを示している。
• ノイズや窓サイズの変動に対して、MCEモデルはより高い頑健性を示した。特に、GloVeやwang2vecよりも高ノイズ環境で顕著に優れた性能を発揮した。
• 定性的な分析から、慢性疾患では安定した影響、急性疾患ではピークの影響、重度でまれな疾患では後続症候の影響が明確に観察された。
• アテンション機構は、非外傷性脳内出血がその後の医療コードに及える長期的影響といった、臨床的に意味のある時間的ダイナミクスを効果的に捉えた。