[論文レビュー] Negation detection in Dutch clinical texts: an evaluation of rule-based and machine learning methods

Bram van Es, Leon C. Reteig+6 more|arXiv (Cornell University)|Sep 1, 2022

Topic Modeling被引用数 4

ひとこと要約

本研究では、エラスムス医療センター・オランダ臨床コーパスを用いて、オランダ語の臨床ノートにおける否定検出のルールベース手法と機械学習手法を評価した。biLSTMおよびRoBERTaベースのモデルは、文脈的特徴を考慮したルールベース手法（ContextD）を著しく上回り、全ドメインでF1スコアが0.95以上を記録した。深層学習モデルは計算コストが高いためにオランダ語の臨床否定検出においてより効果的であることが示された。

ABSTRACT

As structured data are often insufficient, labels need to be extracted from free text in electronic health records when developing models for clinical information retrieval and decision support systems. One of the most important contextual properties in clinical text is negation, which indicates the absence of findings. We aimed to improve large scale extraction of labels by comparing three methods for negation detection in Dutch clinical notes. We used the Erasmus Medical Center Dutch Clinical Corpus to compare a rule-based method based on ContextD, a biLSTM model using MedCAT and (finetuned) RoBERTa-based models. We found that both the biLSTM and RoBERTa models consistently outperform the rule-based model in terms of F1 score, precision and recall. In addition, we systematically categorized the classification errors for each model, which can be used to further improve model performance in particular applications. Combining the three models naively was not beneficial in terms of performance. We conclude that the biLSTM and RoBERTa-based models in particular are highly accurate accurate in detecting clinical negations, but that ultimately all three approaches can be viable depending on the use case at hand.

研究の動機と目的

• 自由記述のオランダ語電子健康記録（EHR）からの大規模なラベル抽出を改善するため、さまざまな否定検出手法を評価すること。
• 構造化されたEHRデータが、臨床意思決定支援システムにおいてしばしば精度と信頼性に欠けるという課題に対処すること。
• ルールベース手法（ContextD）と2つの機械学習アプローチ（biLSTMモデル：MedCAT、RoBERTaベースのモデル：RobBERT）の性能を比較すること。
• 分類誤りを体系的に分類し、将来のモデル改善の指針とすること。
• 3つのモデルを単純アンサンブルすることで性能が向上するかどうかを評価すること。

提案手法

• 否定検出手法の評価のベンチマークデータセットとして、エラスムス医療センター・オランダ臨床コーパスを使用した。
• 否定トリガーを検出するための400以上の事前定義済み正規表現パターンを用いたルールベース手法（ContextD）を実装した。
• MedCATを用いて、文脈における医療用語が否定されているか否かを分類するための双方向LSTM（biLSTM）モデルを訓練した。
• オランダ語の臨床テキストに対して、RoBERTaベースのモデル（RobBERT）およびそのドメイン適応型バージョン（MedRoBERTa.nl）を微調整し、系列分類に使用した。
• 退院通知書、一般医師の記録、レントゲンレポート、専門医の手紙の4つのEHRテキストタイプでモデルを評価した。
• 系列長（32対512トークン）と微調整戦略のモデル性能への影響を評価するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 ルールベース手法と機械学習ベース手法のオランダ語臨床ノートにおけるF1スコア、適合率、再現率の観点での比較は？
• RQ2 一般ドメインRoBERTaと比較して、ドメイン特化型事前学習（例：MedRoBERTa.nl）が否定検出性能にどの程度向上効果をもたらすか？
• RQ3 最大系列長を512トークンから32トークンに短縮することで、計算コストを削減したが、モデル性能に顕著な悪影響を与えるか？
• RQ4 3つのモデル（ルールベース、biLSTM、RoBERTa）を単純アンサンブルすることで、全体の性能が向上するか？
• RQ5 各モデルにおける最も一般的な誤りパターンは何か。今後のモデル最適化にどのように活かせるか？

主な発見

• biLSTMおよびRoBERTaベースのモデルは、全テキストタイプで一貫してルールベースのContextD手法を上回り、F1スコアが全ドメインで0.95以上を達成した。
• RoBERTaベースのモデル（MedRoBERTa.nl）は、退院通知書でF1スコア0.974、レントゲンレポートで0.957、専門医の手紙で0.925を記録した。
• 最大系列長を512トークンから32トークンに短縮しても、性能への影響はわずかで、ほとんどの場合F1スコアが0.01未満に低下したにとどまった。
• ドメイン特化型事前学習（MedRoBERTa.nl）は、一般ドメインのRobBERTモデルに比べてわずかだが一貫した性能向上をもたらした。
• RoBERTaモデル全体を微調整した場合の結果は、最終層の全結合層のみを微調整した場合よりも顕著に優れており、後者はルールベース手法と同等の性能にとどまった。
• 3つのモデルを単純アンサンブルすることで性能が向上せず、個々のRoBERTaおよびbiLSTMモデルに劣った。