[論文レビュー] Clinical XLNet: Modeling Sequential Clinical Notes and Predicting Prolonged Mechanical Ventilation

Kexin Huang, Abhishek Singh+5 more|arXiv (Cornell University)|Dec 27, 2019

Machine Learning in Healthcare参考文献 27被引用数 16

ひとこと要約

本稿では、順序付き臨床ノートの時間的依存性を捉えるために、置換に基づく言語モデリングと双方向LSTMを活用する深層学習モデル、Clinical XLNetを紹介する。このモデルは、延長機械換気（PMV）と90日以内の死亡率予測において、最先端の性能を達成し、AUROCがPMVで0.663、死亡率で0.779を記録した。BERT、XLNet、ClinicalBERTを上回り、時間的文脈を考慮した非構造化臨床テキストのモデリングに効果的である。

ABSTRACT

Clinical notes contain rich data, which is unexploited in predictive modeling compared to structured data. In this work, we developed a new text representation Clinical XLNet for clinical notes which also leverages the temporal information of the sequence of the notes. We evaluated our models on prolonged mechanical ventilation prediction problem and our experiments demonstrated that Clinical XLNet outperforms the best baselines consistently.

研究の動機と目的

• 臨床情報が豊富であるにもかかわらず、予後モデリングにおける非構造化臨床ノートの活用が不十分であるという問題に対処すること。
• 臨床ノートの時間的順序を無視する既存のモデルの限界を克服し、事前学習と微調整の乖離を軽減すること。
• 実際のICU意思決定のタイムラインを模倣するように、48時間以内に入手可能なノートのみを用いる、臨床的に現実的な予測フレームワークを構築すること。
• XLNetの置換に基づく言語モデリングを臨床分野に適応させることで、臨床ノート表現を向上させること。
• 臨床ノートの時間的ダイナミクスを組み込むことで、PMVや死亡率といった重要な臨床アウトカムの予測性能が向上することを実証すること。

提案手法

• MIMIC-IIIデータセットから得た脱識別化された臨床ノートの大規模コーパスを用いて、XLNetの置換に基づく自己回帰的言語モデリングを微調整し、ドメイン特化型の埋め込みを生成する。
• ノート埋め込みの順序を保持し、それらを双方向LSTMに供給することで、順序付きノート間の時間的依存性をモデル化する。
• 事前学習中に、トークン位置のすべての置換を考慮するマスク言語モデリング目的を採用し、BERTで見られる事前学習と微調整の乖離を低減する。
• LSTM層から得られる患者レベルの埋め込みを用いて、最終分類ヘッドを学習し、PMVと90日以内の死亡率を予測する。
• 臨床医の協力を得た慎重なコhortキュレーションを実施し、機械換気から48時間以内の臨床的に関連性のある、時間制限付きのノートのみを予測に使用する。
• 評価のための3つの独立したデータ分割を用い、妥当性を確保するため平均AUROCと標準偏差を報告する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応型XLNetモデルは、ICU予後という文脈において、標準的なBERTやClinicalBERTに比べて臨床ノート表現を改善できるか？
• RQ2 臨床ノートの時間的順序をモデル化することは、延長機械換気および死亡率予測の性能を顕著に向上させるか？
• RQ3 48時間以内に入手可能なノートのみを用いる臨床的に現実的な予測設定は、優れたかつ実行可能な結果を達成できるか？
• RQ4 置換に基づく事前学習と双方向LSTMによる順序モデリングの組み合わせは、時間的文脈を無視したノートレベル埋め込みの集約手法に比べて、どのように優れているか？
• RQ5 一般ドメインの事前学習や事前学習なしに比べて、臨床ノートで事前学習することで、下流タスクの性能がどの程度向上するか？

主な発見

• Clinical XLNetは、延長機械換気予測においてAUROC 0.663 ± 0.011を達成し、ClinicalBERT（0.648 ± 0.011）およびBERT（0.616 ± 0.022）を上回った。
• 90日以内の死亡率予測では、Clinical XLNetがAUROC 0.779 ± 0.006を記録し、ClinicalBERT（0.774 ± 0.006）およびXLNet（0.664 ± 0.017）を上回った。
• アブレーションスタディの結果、双方向LSTMによる時間的モデリング（Clinical XLNet）は、ノート埋め込みの平均化（Clinical XLNet-mean）よりも顕著に性能を向上させた。後者はPMV予測でAUROC 0.656 ± 0.003を達成した。
• Clinical XLNetとClinicalBERTの性能差は、臨床テキスト表現においてXLNetの置換に基づく事前学習の優位性を示している。
• 標準的なNLPモデル（BERTやXLNet）を臨床データで微調整した場合に比べ、本モデルの性能は顕著に優れており、ドメイン特化型の事前学習の必要性を示している。
• 臨床ノートの時間的ダイナミクスを組み込むことで、ICU環境におけるより正確で臨床的実用性の高い予測が可能になることが、本研究で裏付けられた。