[論文レビュー] Explicit-Blurred Memory Network for Analyzing Patient Electronic Health Records

Prithwish Chakraborty, Fei Wang+2 more|arXiv (Cornell University)|Nov 15, 2019

Machine Learning in Healthcare参考文献 15被引用数 4

ひとこと要約

本稿では、電子的医療記録（EHR）解析のための新しいメモリネットワーク、EBmRNNを提案する。このモデルは外部メモリを明示的（explicit）およびぼやけた（blurred）の2つのコンponentに分割する。前者は解釈可能性を高めるために最近のイベントの正確なコピーを保存する。後者は、訓練の安定性を高めるために、すでに明示的メモリから除外された過去の特徴を要約したものを蓄積する。EBmRNNは、ICU予測タスクで最先端の性能を達成するとともに、追跡可能なメモリアクセスによりモデル意思決定の解釈可能性を明確にしている。

ABSTRACT

In recent years, we have witnessed an increased interest in temporal modeling of patient records from large scale Electronic Health Records (EHR). While simpler RNN models have been used for such problems, memory networks, which in other domains were found to generalize well, are underutilized. Traditional memory networks involve diffused and non-linear operations where influence of past events on outputs are not readily quantifiable. We posit that this lack of interpretability makes such networks not applicable for EHR analysis. While networks with explicit memory have been proposed recently, the discontinuities imposed by the discrete operations make such networks harder to train and require more supervision. The problem is further exacerbated in the limited data setting of EHR studies. In this paper, we propose a novel memory architecture that is more interpretable than traditional memory networks while being easier to train than explicit memory banks. Inspired by well-known models of human cognition, we propose partitioning the external memory space into (a) a primary explicit memory block to store exact replicas of recent events to support interpretations, followed by (b) a secondary blurred memory block that accumulates salient aspects of past events dropped from the explicit block as higher level abstractions and allow training with less supervision by stabilize the gradients. We apply the model for 3 learning problems on ICU records from the MIMIC III database spanning millions of data points. Our model performs comparably to the state-of the art while also, crucially, enabling ready interpretation of the results.

研究の動機と目的

• 従来のEHR解析に用いられるメモリネットワークでは、過去の出来事の影響が広がっており、透明性に欠けるため、その解釈可能性の欠如に対処する。
• 明示的メモリのみのモデルでは訓練の不安定性と高い監視コストが生じるため、勾配安定性を高めるために補助的なぼやけたメモリを導入する。
• 正確なメモリスロットの追跡を通じてモデルの解釈可能性を実現するとともに、最先端のアーキテクチャと同等の汎化性能を維持する。
• 人間の記憶構造（感覚記憶、明示的記憶、長期記憶）を模倣することで、低データ環境におけるEHR解析における解釈可能性と訓練可能性のバランスを図る。
• 明示的メモリのアクセスパターンが、死亡率予測や表現型抽出といった臨床予測タスクにおけるモデル意思決定の解釈に利用可能であることを示す。

提案手法

• 外部メモリを2つの明確に分離されたブロックに分割する：最近の入力イベントの正確で変更のないコピーを保存する主な明示的メモリ。
• 過去の出来事が明示的メモリから除外された後も、高レベルの要約を蓄積する補助的なぼやけたメモリを導入する。これは訓練の安定性を高める連続的メモリとして機能する。
• 各時刻における読み取り先を動的に決定するゲート付きメモリコントローラー（GRUベース）を用い、明示的メモリおよびぼやけたメモリのそれぞれに別々の注釈ゲートを設ける。
• 明示的メモリの読み取りゲートに固定温度のGumbel-Softmax再パrameterizationを適用し、離散的動作に近い振る舞いを示しても、微分可能な訓練を可能にする。
• SGDにモーメンタムと勾配クリッピングを適用してモデルを訓練する。ハイパーパrameter（メモリサイズ、コントローラーサイズ、読み取り回数）は、各タスクごとに検証データを用いて最適化する。
• Atkinson-Shiffrinの認知モデルをインスピレーションとし、人間の感覚記憶、短期記憶、長期記憶のプロセスを模倣したメモリ階層を構築する。

実験結果

リサーチクエスチョン

• RQ1 明示的メモリとぼやけたメモリの2つを組み合わせたメモリネットワークアーキテクチャは、EHR分類タスクで最先端の性能を達成するとともに、解釈可能なモデル意思決定を可能にするか？
• RQ2 明示的メモリの使用は、院内死亡率や表現型抽出といった臨床予測タスクにおけるモデルの解釈可能性をどのように向上させるか？
• RQ3 ぼやけたメモリは、EHR研究で一般的な低データ環境において、訓練の安定性と一般化性能の向上に果たす役割は何か？
• RQ4 読み取りゲートのダイナミクスは、タスクごとにどのように異なるのか？ また、それらはモデルが明示的メモリと要約されたメモリ表現のどちらに依存しているかを明らかにするか？
• RQ5 提案されたアーキテクチャは、複雑なモデル（例：多層Transformer）と同等またはそれ以上の性能を発揮しつつ、より解釈可能であるか？

主な発見

• EBmRNNは、単層のGRUコントローラーを用いるだけで、3つのICU予測タスクにおいて、多層Transformerアーキテクチャを含む最先端モデルと同等のAUC-ROCスコアを達成した。
• 明示的メモリにより、入力イベントの完全な追跡が可能であり、可視化結果から、重要な出来事がぼやけたメモリに移動するまで、明示的スロットに長期間保持されていることが示された。
• 読み取りゲートのダイナミクスは、タスクに応じたメモリ使用パターンを示している：表現型抽出タスクでは明示的メモリへの依存が顕著であり、院内死亡率予測タスクでは両方のメモリタイプがより均等に使用されている。
• ぼやけたメモリは訓練の安定性を著しく向上させる。それがないモデル（例：EmRNN）は、勾配爆発を経験し、より高い監視コストを要し、訓練が困難であった。
• 明示的メモリの利点にもかかわらず、抽象化された長期的パターンが不可欠な複雑なタスク（例：院内死亡率予測）では、ぼやけたメモリの存在が性能向上に不可欠であることがわかった。
• 明示的メモリスロットを通じて、どの特定の過去の出来事が予測に最も寄与したかを分析できるため、モデルの解釈性が向上し、臨床現場における後向き説明（post-hoc explanation）を支援する。