[論文レビュー] Multiple Sclerosis Severity Classification From Clinical Text

Alister D Costa, Stefan Denkovski+6 more|arXiv (Cornell University)|Oct 29, 2020

Topic Modeling参考文献 42被引用数 4

ひとこと要約

本稿では、70,000件の匿名化済み多発性硬化症（MS）外来ノートを事前学習したドメイン特化型BERTモデルMS-BERTと、MS-BERTを用いて臨床文書からEDSSおよび機能的サブスコアを予測する分類器MSBCを紹介する。MSBCは最先端の性能を達成し、従来手法に比べてEDSS予測のマクロF1スコアを0.12（0.88に）向上させ、機能的サブスコア予測では0.29（0.63に）向上させた。

ABSTRACT

Multiple Sclerosis (MS) is a chronic, inflammatory and degenerative neurological disease, which is monitored by a specialist using the Expanded Disability Status Scale (EDSS) and recorded in unstructured text in the form of a neurology consult note. An EDSS measurement contains an overall "EDSS" score and several functional subscores. Typically, expert knowledge is required to interpret consult notes and generate these scores. Previous approaches used limited context length Word2Vec embeddings and keyword searches to predict scores given a consult note, but often failed when scores were not explicitly stated. In this work, we present MS-BERT, the first publicly available transformer model trained on real clinical data other than MIMIC. Next, we present MSBC, a classifier that applies MS-BERT to generate embeddings and predict EDSS and functional subscores. Lastly, we explore combining MSBC with other models through the use of Snorkel to generate scores for unlabelled consult notes. MSBC achieves state-of-the-art performance on all metrics and prediction tasks and outperforms the models generated from the Snorkel ensemble. We improve Macro-F1 by 0.12 (to 0.88) for predicting EDSS and on average by 0.29 (to 0.63) for predicting functional subscores over previous Word2Vec CNN and rule-based approaches.

研究の動機と目的

• 従来、専門家の解釈を要する非構造的神経内科外来ノートから、多発性硬化症の重症度を正確に分類する課題に取り組む。
• 固定されたコンテキスト長、臨床的サブ言語の処理が不十分、匿名化によるアーティファクトといった、従来のNLPモデルの限界を、MS特化の臨床文書に適用した場合に克服する。
• 臨床的に有用で、公開可能なBERTベースのモデル（MS-BERT）を、実際のMS外来ノートで微調整することで、MS重症度予測タスクの性能を向上させる。
• MS-BERTと分類器を組み合わせた包括的なパイプライン（MSBC）を構築し、全体のEDSSおよび機能的システムサブスコアを高精度に予測する。
• Snorkelを用いたアンサンブルを活用して、未ラベル化された臨床ノートの半教師付きラベリングを可能とし、モデルのラベリング関数としての実用性を検証する。

提案手法

• 意味を保持し、BERTの語彙を破壊するトークン（例：名前を'[**LAST NAME PLACEHOLDER**]'ではなく'Salamanca'に置換）を避けるように、意味を保ちつつカスタマイズされた置換戦略を用いた匿名化臨床ノート。
• BlueBERTを出発点とし、MS特化の臨床言語で微調整することで、マスク言語モデルを用いて70,000件を超える匿名化済みMS外来ノートでMS-BERTを事前学習した。
• 長大な臨床ノートを複数の512トークンセグメントに分割し、その間のサブワードトークン埋め込みを統合することで、全コンテキスト情報を保持するエンカウンター単位の埋め込みを生成する手法を開発した。
• MS-BERT埋め込みを用いて、マルチヘッド分類ヘッドを介してEDSSおよび機能的サブスコアを予測する分類器MSBCを構築した。
• Snorkelフレームワークを適用し、MSBCと他のラベリング関数（LFS）を組み合わせ、未ラベルデータのシルバー標準ラベルを生成し、半教師付き学習を可能とした。
• Snorkelにおける条件付き独立性とラベルモデル推論を用いて、LFSの正確性を推定し、弱ラベルを生成した。同時に、ゴールドスタンダードアノテーションとの比較による性能検証も実施した。

実験結果

リサーチクエスチョン

• RQ1 実際のMS臨床ノートで学習されたドメイン特化型BERTモデルは、一般向けまたはMIMICベースのモデルに比べ、MS重症度分類で優れた性能を示せるか？
• RQ2 文脈的な意味を保持し、BERTのトークン化を破壊する要因を避けるように、臨床文書の匿名化をどのように実施できるか？
• RQ3 変換器の512トークンコンテキスト窓の制限がある中で、長大な臨床ノートからエンカウンター単位の埋め込みをどの程度正確に構築できるか？
• RQ4 Snorkelベースのアンサンブルにおいて、強力なモデル（MSBC）をラベリング関数として使用することで、弱いまたは相関の高いLFSよりも、未ラベルデータの性能向上が達成できるか？
• RQ5 アンサンブルラベリングで生成されたシルバー標準ラベルで学習したモデルの性能は、ゴールドスタンダードラベルで学習したモデルの性能を上回るか、同等に達することができるか？

主な発見

• MSBCはEDSS予測でマクロF1スコア0.88を達成し、従来のWord2Vec CNNおよびルールベース手法に比べて0.12の向上を示した。
• 機能的サブスコア予測では、MSBCがマクロF1スコア0.63を達成し、従来手法に比べて0.29の向上を示した。
• Snorkelアンサンブルによるシルバー標準ラベルで学習したMSBC-silverモデルは、EDSS予測タスクにおいて、すべての従来ベースラインを上回った。
• MSBC（F1スコア0.88）からMSBC-silverへの性能低下はわずか0.03～0.06に留まり、ラベル生成における強い汎化性と自己一貫性を示した。
• MSBCは、すべての評価指標でルールベースおよびWord2Vecベースのモデルを上回った。定性的な誤差分析では、EDSSスケールで±1以内の重大な誤差がほとんど見られなかった。
• Snorkelにおける条件付き独立性仮定が、相関のあるLFSによって破られたことが判明し、これはMSBCと弱いLFSを組み合わせた際の性能低下に寄与した可能性がある。