[論文レビュー] Evaluating robustness of language models for chief complaint extraction from patient-generated text

Ilya Valmianski, Caleb Goodwin+3 more|arXiv (Cornell University)|Nov 15, 2019

Topic Modeling参考文献 14被引用数 4

ひとこと要約

本研究では、約20万件の患者が訪問した理由に関する新しいデータセットを用いて、微調整されたBERTモデルとTF-IDFベースラインの、患者が生成したテキストから構造化された主訴を抽出する際のロバスト性を評価した。驚くべきことに、TF-IDFベースラインはテストセットにおいて、最良の微調整されたBERTモデル（CC BERT）を上回った（PR-AUC 0.3878 対 0.3597、p=7×10⁻⁵）。一方、定性的な分析では、BERTモデルは誤字や複雑なクエリに対してより高いロバスト性を示した。

ABSTRACT

Automated classification of chief complaints from patient-generated text is a critical first step in developing scalable platforms to triage patients without human intervention. In this work, we evaluate several approaches to chief complaint classification using a novel Chief Complaint (CC) Dataset that contains ~200,000 patient-generated reasons-for-visit entries mapped to a set of 795 discrete chief complaints. We examine the use of several fine-tuned bidirectional transformer (BERT) models trained on both unrelated texts as well as on the CC dataset. We contrast this performance with a TF-IDF baseline. Our evaluation has three components: (1) a random test hold-out from the original dataset; (2) a "misspelling set," consisting of a hand-selected subset of the test set, where every entry has at least one misspelling; (3) a separate experimenter-generated free-text set. We find that the TF-IDF model performs significantly better than the strongest BERT-based model on the test (best BERT PR-AUC $0.3597 \pm 0.0041$ vs TF-IDF PR-AUC $0.3878 \pm 0.0148$, $p=7\cdot 10^{-5}$), and is statistically comparable to the misspelling sets (best BERT PR-AUC $0.2579 \pm 0.0079$ vs TF-IDF PR-AUC $0.2733 \pm 0.0130$, $p=0.06$). However, when examining model predictions on experimenter-generated queries, some concerns arise about TF-IDF baseline's robustness. Our results suggest that in certain tasks, simple language embedding baselines may be very performant; however, truly understanding their robustness requires further analysis.

研究の動機と目的

• 臨床NLPタスク用に、患者が生成した訪問理由を構造化された主訴にマッピングした新しい大規模データセットの構築。
• 事前学習された言語モデル（BERTの変種）とTF-IDFベースラインの、自由記述の患者入力から構造化された主訴を抽出する際の性能とロバスト性の評価。
• 誤字や標準でない患者の言語を含む分布シフトの下でのモデル行動の評価。
• 年齢や性別といった人口統計的特徴量をテキスト埋め込みと統合することで、分類性能が向上するかの検証。

提案手法

• 事前学習済みのテキスト埋め込み（BERT、BioBERT、Clinical BERT、KP BERT、CC BERT）と、離散化された患者の年齢（分類済み）および生物学的性別用の学習済み埋め込みを組み合わせた全結合ニューラルネットワークを構築した。
• 190,243件のトレーニングエンカウンターと31,815件のテストエンカウンターを含むデータセットを用い、5分割交差検証でモデルを訓練した。主訴は795種類のユニークな項目であった。
• 3つのテストセットでモデルを評価した：標準のホールドアウトテストセット、手動で校正された誤字入りセット（少なくとも1つの誤字を含む245件）、研究者によって生成された自由記述クエリセット。
• 主な指標としてマイクロ平均PR-AUCとROC-AUCを用い、統計的有意性の検定にはウェルチのt検定を適用した。
• TF-IDFベースラインにはストップワード除去とn-gramトークン化を適用し、患者のテキストコーパス上で学習した。
• 分布外のクエリに対するモデル予測の定性的分析を実施し、文脈、人口統計的要因、スペルの変化への感受性を評価した。

実験結果

リサーチクエスチョン

• RQ1 TF-IDFベースラインは、患者が生成したテキストから構造化された主訴を抽出する際、微調整されたBERTモデルを上回る性能を示すか？
• RQ2 BERTベースのモデルとTF-IDFは、誤字や標準でない言語といった分布シフトの下で、どのように性能を示すか？
• RQ3 年齢と性別といった人口統計的特徴量は、テキスト埋め込みモデルの主訴分類性能をどの程度向上させるか？
• RQ4 BERTベースのモデルは、トレーニングデータにない複雑または口語的な患者言語に対して、TF-IDFよりもロバスト性が高いか？
• RQ5 低リソースの臨床NLPシナリオにおいて、モデルアーキテクチャと事前学習の相対的な影響は何か？

主な発見

• TF-IDFベースラインは、標準テストセットでマイクロ-PR-AUC 0.3878±0.0148を達成し、最良のBERTモデル（CC BERT）のPR-AUC 0.3597±0.0041を有意に上回った（p=7×10⁻⁵）。
• 誤字入りテストセットでは、TF-IDFベースラインのPR-AUCは0.2733±0.0130、CC BERTは0.2579±0.0079であったが、有意差は認められなかった（p=0.06）。
• 標準ベンチマークで優れた性能を示したにもかかわらず、TF-IDFモデルは、口語的または著しく誤字の多い入力といった分布外のクエリに対して、BERTベースのモデルに比べて感受性が高かった。
• BERTベースのモデル、特にKP BERTとCC BERTは、文脈的ヒントや人口統計的情報に高い感受性を示し、同じ症状であっても患者の年齢に応じて異なる主訴を正しく予測した。
• 分布シフトの下では、TF-IDFとBERTモデルの性能差が縮小したため、TF-IDFが実世界の患者入力における言語的変化により感受しやすい可能性が示唆された。
• 定性的分析から、BERTモデルは「my tum-tum is upset」→「abdominal pain」のようなレアまたは非標準的な表現を正しく分類できることを示し、非標準言語への一般化性能に優れていることがわかった。