[論文レビュー] Improved Hierarchical Patient Classification with Language Model Pretraining over Clinical Notes

Jonas Kemp, Alvin Rajkomar+1 more|arXiv (Cornell University)|Sep 6, 2019

Machine Learning in Healthcare参考文献 50被引用数 12

ひとこと要約

本論文では、電子歴史記録（EHR）における臨床ノートの理解を向上させるために、言語モデルの事前学習を組み込んだ階層的再帰ニューラルネットワーク（SHiP）を提案する。順序構造を保持し、ノートテキストにおける事前学習を活用することで、MIMIC-IIIデータセットにおける階層的診断分類タスクで最先端の性能を達成し、文脈を無視するか事前学習を省略するベースラインモデルに比べ、AUROCおよび再現率の指標で顕著な向上を示した。

ABSTRACT

Clinical notes in electronic health records contain highly heterogeneous writing styles, including non-standard terminology or abbreviations. Using these notes in predictive modeling has traditionally required preprocessing (e.g. taking frequent terms or topic modeling) that removes much of the richness of the source data. We propose a pretrained hierarchical recurrent neural network model that parses minimally processed clinical notes in an intuitive fashion, and show that it improves performance for discharge diagnosis classification tasks on the Medical Information Mart for Intensive Care III (MIMIC-III) dataset, compared to models that treat the notes as an unordered collection of terms or that conduct no pretraining. We also apply an attribution technique to examples to identify the words that the model uses to make its prediction, and show the importance of the words' nearby context.

研究の動機と目的

• 予測モデリングにおいて無視されたり単純化されがちな、多様で非構造的なEHRの臨床ノートの課題に対処すること。
• 広範な前処理を伴わずに、臨床ノート内の順序的および文脈的情報を保持することで、階層的患者分類を改善すること。
• 階層的ディープラーニングフレームワークにおける臨床ノートの表現学習を向上させるために、言語モデルの事前学習の有効性を評価すること。
• アトリビューション手法を用いてモデルの予測を解釈し、結果に影響を与えるキーワードやフレーズを同定すること。
• 事前学習と階層的モデリングが、下流の臨床予測タスクにおける性能を共同で向上させることを実証すること。

提案手法

• モデルは、語順を保持し、関連するセグメントに注目するための注目機構を備えた階層的アテンションネットワークを用いて臨床ノートを処理する。
• ノートトークンの上に双方向LSTMを適用し、文脈に依存する表現を生成し、階層的アテンションによりそれらを1つのノート埋め込みに集約する。
• ノートレベルのLSTMに対して言語モデルの事前学習目的を適用し、エンド・トゥ・エンドのファインチューニングの前に次の単語（双方向の場合、前の単語）を予測するように訓練する。
• ノート埋め込みを、診断や検査値などの構造的EHR特徴と、固定時間間隔でのバギングにより統合し、シーケンス長を短縮する。
• パス統合勾配法を用いて、ゼロベクトルベースラインと20ステップの統合を前提に、語レベルの重要度スコアを計算する。
• 患者履歴エンコーダ（時間バギング特徴のLSTM）とノート固有エンコーダ（LSTM + アテンション）を組み合わせたアーキテクチャを構築し、予測損失関数に基づいて共同で学習する。

実験結果

リサーチクエスチョン

• RQ1 言語モデルの事前学習は、非事前学習またはBag-of-Words（BOW）ベースラインと比較して、臨床ノートにおける階層的分類性能を向上させるか？
• RQ2 臨床ノートの順序的構造を保持することで、語の集合として扱う場合に比べ、より優れた予測性能が得られるか？
• RQ3 アトリビューション手法によって明らかにされたように、特定の語とその局所的文脈は、モデルの予測にどのように依存しているか？
• RQ4 シーケンス長、バギング期間、および事前学習スケジュールの最適な設定は何か？
• RQ5 この文脈において、双方向モデル化は単方向モデル化よりも優れた性能を示すか？

主な発見

• SHiPモデルは、重み付きマルチラベルICD-9診断タスクでAUROC 0.889（±0.002）を達成し、非事前学習の階層的モデル（0.869）およびBOWベースラインを上回った。
• 主要CCS診断のタスクにおいて、8時間のバギングを用いたSHiPモデルはトップ1再現率0.671（±0.004）を達成したが、非事前学習モデルは0.591であった。
• 双方向SHiPモデルは、主要CCSタスクにおいて、単方向バージョンに比べてトップ1再現率が0.012高く、AUROCが0.008高い結果を示した。
• 24時間までまたは退院時まで事前学習した場合、性能はほぼ同一（AUPRC 0.478 vs. 0.479）であり、早期の事前学習で十分であることが示唆された。
• アトリビューション解析により、モデルの予測はキーワードとその直近の文脈に強く依存していることが判明し、局所的言語構造の重要性が裏付けられた。
• ノートのトランケーション長を2500トークンに設定したモデルは、1000トークンに設定したモデルよりも、特に診断タスクにおいて優れた性能を示した。これは、より長い文脈情報が性能向上に寄与することを示している。