[論文レビュー] Multi-Label Learning from Medical Plain Text with Convolutional Residual Models

Xinyuan Zhang, Ricardo Henao+3 more|arXiv (Cornell University)|Jan 15, 2018

Text and Document Classification Technologies被引用数 19

ひとこと要約

本稿では、臨床ノートからのマルチラベル診断予測におけるラベル依存性をモデル化するため、医用テキスト表現にCNNエンコーダーを組み合わせた畳み込み残差ネットワークを提案する。モデルは複数の指標でベースラインを上回り、長くノイズの多い医師ノートにおける意味的構造と共存疾患パターンを効果的に捉えることで、EHRデータセットで最先端の性能を達成した。

ABSTRACT

Predicting diagnoses from Electronic Health Records (EHRs) is an important medical application of multi-label learning. We propose a convolutional residual model for multi-label classification from doctor notes in EHR data. A given patient may have multiple diagnoses, and therefore multi-label learning is required. We employ a Convolutional Neural Network (CNN) to encode plain text into a fixed-length sentence embedding vector. Since diagnoses are typically correlated, a deep residual network is employed on top of the CNN encoder, to capture label (diagnosis) dependencies and incorporate information directly from the encoded sentence vector. A real EHR dataset is considered, and we compare the proposed model with several well-known baselines, to predict diagnoses based on doctor notes. Experimental results demonstrate the superiority of the proposed convolutional residual model.

研究の動機と目的

• 電子歴史記録（EHR）における構造化されていない医師ノートからマルチラベル診断予測を実現する課題に取り組むこと。特に、患者が複数の共存疾患を有する場合を想定する。
• 従来の手法がラベルの独立性を仮定し、共存疾患パターンを捉えられないことに対応するため、ラベル依存性をモデル化することで性能を向上させること。
• 長くノイズの多い臨床テキストを効果的にエンコードし、意味的・構文的構造を保持する深層学習アーキテクチャを開発すること。
• 残差ネットワークが文レベル表現と学習されたラベル相関を統合することで、マルチラベル分類性能が向上することを示すこと。
• 実世界のEHRデータセットを用いてモデルを検証し、CNN、Bi-LSTM、木ベースの手法を含む複数の強力なベースラインと比較すること。

提案手法

• 平文の医師ノートを固定長の文埋め込みに変換するため、畳み込みニューラルネットワーク（CNN）を用い、局所的な意味的特徴と語順を捉える。
• CNNエンコーダーの上に深層残差ネットワークを積み重ね、ショートカット接続を用いてより深いアーキテクチャの学習を可能にするとともに、ラベル依存性をモデル化する。
• 残差ネットワークは、エンコードされた文ベクトルからの情報を統合し、ラベル間の共起パターンを捉えることで、複数の診断を同時に予測する。
• マルチラベル分類のため、シグモイド活性化関数と交差エントロピー損失を用いてエンドツーエンドでモデルを学習する。これにより、各診断の予測を独立して行える。
• t-SNE可視化を用いて、学習された文埋め込みの品質を評価し、意味的に類似した診断がクラスタリングされていることを確認した。
• 残差層の深さ（1〜8層）を変化させることで、性能および収束速度への深さの影響を調査した。

実験結果

リサーチクエスチョン

• RQ1 長くノイズの多い臨床ノートから意味的意味を捉えるために、従来のbag-of-wordsやLSTMベースの表現よりも、CNNベースの文エンコーダーが優れているか？
• RQ2 深層残差ネットワークを用いてラベル依存性を組み込むことで、独立したラベル予測と比較して、マルチラベル診断予測の精度が向上するか？
• RQ3 残差ネットワークの深さが、マルチラベルEHR分類における性能、収束速度、一般化性能に与える影響は何か？
• RQ4 提案手法が、頻繁に共起する診断（特に共存疾患）のパターンをどれほど活用しているか？
• RQ5 性能向上はモデル容量の増加によるものか、それとも残差接続というアーキテクチャ的革新によるものか？

主な発見

• 8層の畳み込み残差モデルは、ehr1000検証セットで、P@1が60.30%、P@3が31.21%、P@5が21.27%、nDCG@3が80.21%、nDCG@5が80.17%、AUCが94.89%という、全指標で最高の性能を達成した。
• 8層の残差ネットワークを搭載したモデルは、8層のプレーンCNN（P@1が8.99%にとどまる）を上回った。これは、性能向上の主因が深さそのものではなく、残差接続の存在であることを示している。
• 残差モデルは浅いバージョンよりも収束が早く、1層の残差モデルが38エポックを要するのに対し、8層モデルでは25エポックで収束した。
• ehr64-allデータセットにおいて、8層の残差モデルのAUC（0.942）は、標準CNN（0.923）を有意に上回り、64診断のうち59診断でAUCが向上した。
• t-SNE可視化により、文埋め込みが診断ごとにクラスタリングされていることが確認され、意味的に類似した疾患（例：頭痛と片頭痛）がまとまって配置された。
• 共存疾患率の高い診断（高血糖、低血圧、高カリウム血症、尿路感染症、発熱など）に対して、特に顕著な性能向上が見られた。これは、ラベル依存性の効果的なモデル化を示している。