[論文レビュー] Neural Document Embeddings for Intensive Care Patient Mortality Prediction.

Paulina Grnarova, Florian Schmidt+2 more|arXiv (Cornell University)|Dec 1, 2016

Machine Learning in Healthcare被引用数 4

ひとこと要約

本稿では、MIMIC-IIIデータベースの非構造化臨床ノートを用いて、集中治療患者の死亡予測を目的とした畳み込みニューラルネットワークベースのドキュメント埋め込み手法を提案する。従来の潜在的トピックモデルや一般的なdoc2vec埋め込みと比較して、特に退院後死亡予測において顕著な性能向上を達成している。

ABSTRACT

We present an automatic mortality prediction scheme based on the unstructured textual content of clinical notes. Proposing a convolutional document embedding approach, our empirical investigation using the MIMIC-III intensive care database shows significant performance gains compared to previously employed methods such as latent topic distributions or generic doc2vec embeddings. These improvements are especially pronounced for the difficult problem of post-discharge mortality prediction.

研究の動機と目的

• 従来のモデルでしばしば未利用とされる非構造化臨床ノートを活用して、集中治療患者の死亡予測を改善すること。
• 特に困難な臨床予測タスクとされる退院後死亡予測の課題に対処すること。
• 従来の手法と比較して、より洗練された文脈に敏感なパターンを捉えることができる、臨床テキストのためのより効果的な表現学習手法を開発すること。
• 潜在的トピックモデルや一般的なdoc2vec埋め込みといった既存のベースラインと比較して、提案手法の性能を評価すること。

提案手法

• 本手法は、全臨床ドキュメントの密な分散表現（埋め込み）を学習するため、畳み込みニューラルネットワーク（CNN）アーキテクチャを採用する。
• 入力の臨床ノートはトークン化され、密ベクトルに埋め込まれる。その後、局所的なn-gram特徴を捉えるために、異なるフィルターサイズを持つ複数の畳み込み層を通過する。
• 各畳み込みフィルターの出力に対して最大プーリング処理を施し、最も顕著な特徴を抽出した後、連結することで固定長のドキュメントレベル埋め込みを形成する。
• 学習されたドキュメント埋め込みは、MIMIC-IIIデータセット上でエンドツーエンドに訓練された下流分類器への入力として使用される。
• 予測精度を最適化するために、入院中および退院後死亡予測の両タスクで交差エントロピー損失関数を用いてモデルを訓練する。
• 標準的な評価指標（AUC-ROCなど）を用いて、潜在的ディリクレ割り当て（LDA）や一般的なdoc2vec埋め込みといったベースライン手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワークベースのドキュメント埋め込みモデルは、LDA や doc2vec といった従来手法を上回る性能を示すだろうか？
• RQ2 提案手法は、特に困難な予測タスクとされる退院後死亡予測において、どの程度有効であるだろうか？
• RQ3 学習されたドキュメント埋め込みは、非構造化臨床ノートから臨床的に関連のあるパターンをどの程度捉えているだろうか？
• RQ4 グローバルな平均化やプーリング戦略と比較して、局所的な畳み込み特徴抽出は、臨床テキストの表現学習をどのように改善するだろうか？

主な発見

• 提案された畳み込みドキュメント埋め込み手法は、潜在的トピックモデルおよび一般的なdoc2vec埋め込みと比較して、死亡予測タスクで顕著な性能向上を達成した。
• 特に退院後死亡予測において、その改善効果が顕著であり、モデルの一般化能力およびロバスト性が優れていることが示された。
• 畳み込みフィルターを用いた臨床テキスト内の局所的で階層的なパターンの捉え方により、より判別力のあるドキュメント表現が得られた。
• 結果から、従来の分布的または浅いニューラルネットワーク手法よりも、深層学習ベースのドキュメント埋め込みが、非構造化臨床ノートに内在する複雑で繊細な信号を捉えるのに適していることが示された。