[論文レビュー] Convolutional Neural Networks for Medical Diagnosis from Admission Notes

Christy Y. Li, Dimitris Konomis+4 more|arXiv (Cornell University)|Dec 6, 2017

Machine Learning in Healthcare参考文献 6被引用数 15

ひとこと要約

本論文は、電子歴史記録（EHR）の非構造化入院ノートから一次診断を自動で予測する畳み込みニューラルネットワーク（CNN）モデルを提案する。テキストデータのみを用いて、MIMIC-IIIデータセットで訓練されたモデルは、10個の一般的な疾患クラスにおいて96.11%の正確性と80.48%の加重F1スコアを達成し、ベースラインモデルと比較してF1スコアで最低12.7ポイントも優れている。これは、ノイズが多く構造のない臨床テキストを効果的に処理する強力な性能を示している。

ABSTRACT

$ extbf{Objective}$ Develop an automatic diagnostic system which only uses textual admission information from Electronic Health Records (EHRs) and assist clinicians with a timely and statistically proved decision tool. The hope is that the tool can be used to reduce mis-diagnosis. $ extbf{Materials and Methods}$ We use the real-world clinical notes from MIMIC-III, a freely available dataset consisting of clinical data of more than forty thousand patients who stayed in intensive care units of the Beth Israel Deaconess Medical Center between 2001 and 2012. We proposed a Convolutional Neural Network model to learn semantic features from unstructured textual input and automatically predict primary discharge diagnosis. $ extbf{Results}$ The proposed model achieved an overall 96.11% accuracy and 80.48% weighted F1 score values on 10 most frequent disease classes, significantly outperforming four strong baseline models by at least 12.7% in weighted F1 score. $ extbf{Discussion}$ Experimental results imply that the CNN model is suitable for supporting diagnosis decision making in the presence of complex, noisy and unstructured clinical data while at the same time using fewer layers and parameters that other traditional Deep Network models. $ extbf{Conclusion}$ Our model demonstrated capability of representing complex medical meaningful features from unstructured clinical notes and prediction power for commonly misdiagnosed frequent diseases. It can use easily adopted in clinical setting to provide timely and statistically proved decision support. $ extbf{Keywords}$ Convolutional neural network, text classification, discharge diagnosis prediction, admission information from EHRs.

研究の動機と目的

• EHRのテキストのみを用いて、タイムリーかつ正確な臨床意思決定を支援する自動的かつデータ駆動型の診断システムを開発すること。
• 特に症状が重複する疾患が多く存在する中で、診断ミスの割合が高い問題を、非構造化臨床テキストに対するディープラーニングの活用によって解決すること。
• 手作業で作成された医療ルールに依存せず、臨床ノート内の複雑で非線形なパターンを学習するツールを構築することで、誤診を低減すること。
• 入院時データのみを用い、計算負荷を最小限に抑えることで、臨床ワークフローへの統合を可能にすること。
• CNNがノイズが多くフォーマットが多様な臨床ノートから、医学的に意味のある特徴を効果的に抽出できることを示すこと。

提案手法

• 1次元畳み込みニューラルネットワーク（CNN）を用いて、非構造化臨床ノートから退院診断を分類する。このタスクは多クラステキスト分類問題として扱う。
• MIMIC-IIIデータセット上で事前学習された単語埋め込みを用い、CNNの埋め込み層を初期化することで、特徴学習とモデル性能の向上を図る。
• 共参照解決を適用して、疾患名の表記（例：省略形、同義語）を正規化し、テキスト表現の一貫性を向上させる。
• 3-グラム、4-グラム、5-グラムなどの異なるフィルターサイズを持つ複数の畳み込みフィルタを用いて、症状、検査結果、疾患名などの局所的パターンを検出する。
• 今後の研究として、特に希少疾患に対して顕著なクラス不均衡を是正するため、重み付き損失関数の検討を考慮する。
• 個々のコンポONENTの手動ハイパーパramータチューニングを必要とせず、エンドツーエンドで訓練することで、実用的な展開性を高める。

実験結果

リサーチクエスチョン

• RQ1 CNNモデルは、非構造的でノイズの多い臨床ノートから、意味的表現を効果的に学習し、一次退院診断を予測できるか？
• RQ2 伝統的な機械学習モデル（例：SVM、ランダムフォレスト、ロジスティック回帰）と比較して、CNNベースのアプローチはEHR入院ノートから一般的な疾患を診断する際にどのように性能を発揮するか？
• RQ3 畳み込みフィルタは、症状、疾患、異常所見といった臨床的関連パターンをどれほど効果的に学習できるか？
• RQ4 モデルは、構造的変更を最小限に抑えて、希少疾患への一般化や、マルチラベルまたは階層的疾患予測に適応できるか？
• RQ5 臨床コーパス上で事前学習された単語埋め込みを用いることで、ランダム初期化と比較して診断性能が向上するか？

主な発見

• 提案されたCNNモデルは、MIMIC-IIIデータセットの10疾患クラスにおいて、96.11%の正確性と80.48%の加重F1スコアを達成した。
• SVM、ランダムフォレスト、MLP、ロジスティック回帰の4つの強力なベースラインモデルと比較して、加重F1スコアで最低12.7ポイントも優れていた。
• 10疾患クラスのうち9つで優れた性能を示し、頻繁に誤診される疾患に対して優れた一般化性能を示した。
• 活性化解析の結果、個々の畳み込みフィルタが「大動脈弁狭窄」や「高脂血症」などの特定の医学的フレーズを検出していることが確認され、モデルが臨床的に意味のあるパターンを学習していることが裏付けられた。
• ノイズが多くフォーマットが多様なテキスト内に存在する複雑で非線形なパターン、例えば「胸骨上部の胸痛」や「ST上昇を伴う胸痛の改善」のような多語彙フレーズを効果的に特定できた。
• 事前学習された単語埋め込みの使用が、性能を顕著に向上させた。これは、臨床NLPにおける文脈的表現学習の重要性を強調している。