[論文レビュー] Combining LSTM and Latent Topic Modeling for Mortality Prediction

Yohan Jo, Lisa Lee+1 more|arXiv (Cornell University)|Sep 8, 2017

Machine Learning in Healthcare参考文献 11被引用数 25

ひとこと要約

本稿では、臨床ノートを用いたICU患者の死亡予測を向上させるために、長短記憶ネットワーク（LSTM）と制約付き潜在的トピックモデルを統合した共同LSTM-トピックモデリングアーキテクチャを提案する。モデルはLDAベースのベースラインを著しく上回る予測精度を達成するが、複数のノート入力からのノイズの影響により、ニューラルウェイトから得られるトピックは解釈性に欠ける。

ABSTRACT

There is a great need for technologies that can predict the mortality of patients in intensive care units with both high accuracy and accountability. We present joint end-to-end neural network architectures that combine long short-term memory (LSTM) and a latent topic model to simultaneously train a classifier for mortality prediction and learn latent topics indicative of mortality from textual clinical notes. For topic interpretability, the topic modeling layer has been carefully designed as a single-layer network with constraints inspired by LDA. Experiments on the MIMIC-III dataset show that our models significantly outperform prior models that are based on LDA topics in mortality prediction. However, we achieve limited success with our method for interpreting topics from the trained models by looking at the neural network weights.

研究の動機と目的

• ICU死亡予測のための、順序モデリングと解釈可能なトピック発見を統合したディープラーニングフレームワークの開発。
• 臨床ノートにおける時間的依存関係を活用することで、既存のLDAベースのモデルを上回る予測精度の向上。
• LDAにインspiredされた制約を備えたニューラルトピックモデルを設計し、死亡関連トピックの解釈性を向上。
• ニューラルネットワークのウェイトが、LDAと同等の意味的整合性を持つトピックを生成できるかを検証。
• トピック解釈性の制限を特定し、トピック品質を向上させるためのデータ前処理戦略を提案。

提案手法

• 2エンコーダー構造を採用：LSTM層が順序的な臨床ノートを処理して死亡予測を実行し、トピックモデリング層が同じノートから潜在的トピック分布を学習。
• LDAにインspiredされた制約を備えた単層ネットワークを用いてトピックモデリングを実装し、トピックの一貫性と解釈性を確保。
• 3つのモデルバージョン（エンコーダーのみ、エンコーダー＋デコーダー、エンコーダー＋トランスコーダー＋デコーダー）を検討。複雑さとLDAに類似したスパarsity制約が段階的に増加。
• t-SNE可視化を用いて、本モデルの潜在的文書ベクトルクラスタをLDAのものと比較。トピック品質の評価を実施。
• 勾配ベースのセンチナリティ解析を用いて、各LSTM隠れノードに最も影響を与える単語を同定。予測特徴の解釈を目的とする。
• 解釈性の向上を目的として、レアワード・頻出ワードの除去および1文字のスペルミスの修正といったデータ前処理手順を提案。

実験結果

リサーチクエスチョン

• RQ1 共同LSTM-トピックモデリングアーキテクチャは、LDAベースのモデルと比較して死亡予測精度を向上させることができるか？
• RQ2 トピックモデリング層におけるニューラルネットワークウェイトは、LDAと同等の解釈可能で整合性のあるトピックを生成できるか？
• RQ3 本モデルの潜在的文書表現は、LDAトピックと比較してクラスタリング品質においてどの程度類似しているか？
• RQ4 個々の単語はLSTM隠れ状態にどのように影響を与えているか。また、それらは死亡予測に寄与する語彙を同定するのに利用可能か？
• RQ5 スペルミスの修正や語彙フィルタリングといった前処理技術は、モデルウェイトからのトピック解釈性を向上させられるか？

主な発見

• 提案モデルはMIMIC-IIIデータセットにおいて、ベースラインのLDAベースモデルを著しく上回る死亡予測精度を達成した。
• エンコーダー＋トランスコーダー＋デコーダーのバージョンは、エンコーダーのみのモデルと比較して、LDAトピックに近いトピッククラスタを生成した。これは、より高いトピックの一貫性を示唆している。
• エンコーダーおよびデコーダー層で高ウェイトを持つノードに関連する上位語は、しばしばスペルミスや稀な語であった。これは、学習されたトピックの解釈性が低いことを示している。
• t-SNE可視化の結果、LSTM+E+DモデルはLSTM+Eモデルと比較して、LDAに近い文書ベクトルクラスタを生成した。これは、トピック品質の向上を支持する。
• モデルの性能は、特に同じ時刻に異なる種類の臨床ノートが連結されたノイズの多い入力データに制限を受けていた。
• レアワード・頻出ワードの除去および1文字のスペルミスの修正といった前処理手順は、モデルの上位ウェイト語の解釈性を向上させると提案される。