[論文レビュー] Dual Control Memory Augmented Neural Networks for Treatment Recommendations

Hung Lê, Truyen Tran+1 more|arXiv (Cornell University)|Feb 11, 2018

Machine Learning in Healthcare被引用数 4

ひとこと要約

本稿では、電子カルテを順序付き入力として扱い、長期的な依存関係を捉えるために、臨床治療の推薦を目的とした二重コントローラー書込み保護型メモリ拡張ニューラルネットワーク（DCw-MANN）を提案する。この手法は、MIMIC-IIIデータセットにおいて、従来のbag-of-wordsモデルおよびsequence-to-sequenceモデルよりも、手術予測および薬剤処方の両タスクで優れた性能を発揮する。

ABSTRACT

Machine-assisted treatment recommendations hold a promise to reduce physician time and decision errors. We formulate the task as a sequence-to-sequence prediction model that takes the entire time-ordered medical history as input, and predicts a sequence of future clinical procedures and medications. It is built on the premise that an effective treatment plan may have long-term dependencies from previous medical history. We approach the problem by using a memory-augmented neural network, in particular, by leveraging the recent differentiable neural computer that consists of a neural controller and an external memory module. But differing from the original model, we use dual controllers, one for encoding the history followed by another for decoding the treatment sequences. In the encoding phase, the memory is updated as new input is read; at the end of this phase, the memory holds not only the medical history but also the information about the current illness. During the decoding phase, the memory is write-protected. The decoding controller generates a treatment sequence, one treatment option at a time. The resulting dual controller write-protected memory-augmented neural network is demonstrated on the MIMIC-III dataset on two tasks: procedure prediction and medication prescription. The results show improved performance over both traditional bag-of-words and sequence-to-sequence methods.

研究の動機と目的

• 電子カルテ（EMRs）を用いた臨床治療予測における長期的依存関係の課題に取り組む。
• 入院を順序なし集合として扱う従来の手法の限界を克服し、入院内および複数入院間の順序パターンを無視しないようにする。
• 医療分野の順序系列予測に特化したメモリ拡張アーキテクチャを開発する。
• 臨床手術および薬剤処方の推薦タスクにおける予測精度と学習効率を向上させる。

提案手法

• 治療推薦を、時間順に整列した医療履歴を入力とする順序系列予測問題として定式化する。
• 異なる微分可能コンピュータ（DNC）を改変し、医療履歴のエンコードに使用するコントローラーと、治療系列のデコードに使用するコントローラーの二つを導入する。
• エンコード段階で学習した表現を保持するために、デコード段階で書込み保護型メモリ機構を採用する。
• 外部メモリを活用して、複数の入院にわたる長期的な臨床的依存関係を格納および取得する。
• バックプロパゲーションを用いてエンドツーエンドでモデルを学習し、二重コントローラーがエンコードとデコードのための異なる戦略を学習する。
• 診断、手術、薬剤の医療コードを埋め込み表現として表現し、二重コントローラー・アーキテクチャを介して逐次処理する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張ニューラルネットワークは、治療推薦のための順序系列臨床データにおける長期的依存関係を効果的にモデル化できるか？
• RQ2 履歴のエンコードに使用するコントローラーと治療のデコードに使用するコントローラーの二重コントローラー構造を採用することで、単一コントローラーのモデルと比較して性能と学習速度が向上するか？
• RQ3 デコード段階でメモリの書込み保護を実施することで、順序系列臨床モデリングにおける予測精度と安定性にどのような影響を与えるか？
• RQ4 DCw-MANNは、従来のbag-of-wordsモデルおよび標準的なsequence-to-sequenceモデルと比較して、臨床的順序系列予測タスクでどの程度優れているか？

主な発見

• DCw-MANNモデルは、MIMIC-IIIデータセットにおいて、ベースラインモデルと比較して手術予測および薬剤処方の両タスクで優れた性能を発揮する。
• メモリ拡張モデルは、特に出力系列が長く複雑な薬剤処方タスクにおいて、標準的なsequence-to-sequenceモデルを顕著に上回る。
• デコード段階での書込み保護型メモリ機構により、モデルの安定性と性能が向上し、特に長期間予測タスクにおいて顕著である。
• DCw-MANNは、薬剤処方タスクにおいて標準DNCよりも高速に収束することから、学習効率の向上が示された。
• モデルは、入院内および複数入院にわたる順序的依存関係を効果的に捉えており、時間的順序と臨床的文脈を保持している。
• 順序ベースのモデルに不利なバイアスがかかる状況でも、DCw-MANNは非順序ベースのベースラインを上回る結果を示しており、順序に配慮した設計の有効性が裏付けられた。