[論文レビュー] Summarizing Patients Problems from Hospital Progress Notes Using Pre-trained Sequence-to-Sequence Models

Yanjun Gao, Dmitriy Dligach+4 more|PubMed|Aug 17, 2022

Topic Modeling参考文献 18被引用数 15

ひとこと要約

本稿では、事前学習済みシーケンス・ツー・シーケンス・モデルを用いて病院の進行情報から患者の問題を要約する、新しいNLPタスクを提案する。ドメイン適応的事前学習で微調整されたT5が、ルールベースおよび一般ドメインモデルを著しく上回り、臨床的問題リスト要約のための新しいMIMIC-IIIベースのコーパスにおいて最先端の性能を達成した。

ABSTRACT

Automatically summarizing patients' main problems from daily progress notes using natural language processing methods helps to battle against information and cognitive overload in hospital settings and potentially assists providers with computerized diagnostic decision support. Problem list summarization requires a model to understand, abstract, and generate clinical documentation. In this work, we propose a new NLP task that aims to generate a list of problems in a patient's daily care plan using input from the provider's progress notes during hospitalization. We investigate the performance of T5 and BART, two state-of-the-art seq2seq transformer architectures, in solving this problem. We provide a corpus built on top of progress notes from publicly available electronic health record progress notes in the Medical Information Mart for Intensive Care (MIMIC)-III. T5 and BART are trained on general domain text, and we experiment with a data augmentation method and a domain adaptation pre-training method to increase exposure to medical vocabulary and knowledge. Evaluation methods include ROUGE, BERTScore, cosine similarity on sentence embedding, and F-score on medical concepts. Results show that T5 with domain adaptive pre-training achieves significant performance gains compared to a rule-based system and general domain pre-trained language models, indicating a promising direction for tackling the problem summarization task.

研究の動機と目的

• 日常の進行情報からの情報過多および認知的負荷を軽減するため、病院環境において患者の問題を自動で要約すること。
• 複雑な臨床情報の要約を必要とする、臨床的診断推論に焦点を当てた、知識集約型の要約タスクを導入すること。
• T5およびBARTを含む最先端のseq2seqモデルが、この新しい問題リスト要約タスクにおいてどのように評価されるかを検証すること。
• 医療テキストを用いたデータ拡張とドメイン適応的事前学習により、モデル性能を向上させること。
• 今後のNLPを用いた臨床的診断意思決定支援分野の研究のためのベンチマークを確立すること。

提案手法

• タスクは、入力が進行情報で出力が要約された患者の問題のリストである、シーケンス・ツー・シーケンスのテキスト生成として定式化される。
• 著者らはMIMIC-III EHRデータセットを用い、ICUの進行情報のサブセットを抽出・アノテートし、問題リスト生成のためのコーパスを構築した。
• T5およびBARTモデルは、アノテート済みコーパス上で微調整され、一般ドメイン事前学習とドメイン適応的事前学習（DAPT）の両方を比較する実験が実施された。
• 訓練データにおける医療用語および臨床的概念への露出を増やすために、データ拡張手法が適用された。
• ROUGE、BERTScore、文埋め込みのコサイン類似度、および医療用語におけるFスコアを用いてモデルを評価した。
• アブレーションスタディにおいて、進行情報の「目的」セクション（血液検査値や構造化データを含む）を入力に組み込むことで、要約品質への影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 T5 や BART などの事前学習済みシーケンス・ツー・シーケンス・モデルは、臨床的進行情報から患者の問題を効果的に要約できるか？
• RQ2 一般ドメイン事前学習と比較して、ドメイン適応的事前学習（DAPT）は、臨床的問題リスト要約タスクにおけるモデル性能を向上させるか？
• RQ3 入力の構成、例えば「目的」セクションを含めるかどうかといった要因は、要約品質にどのように影響するか？
• RQ4 ROUGE や BERTScore といった自動評価指標は、臨床的に重要な医療用語の再現率とどの程度相関しているか？
• RQ5 現在のモデルは、症状・薬物・疾患の関連性をどのように理解しているか、その限界は何か？

主な発見

• ドメイン適応的事前学習（DAPT）で微調整されたT5は、ルールベースのシステムおよび一般ドメイン事前学習モデルと比較して、問題リスト要約タスクにおいて顕著な性能向上を示した。
• DAPTで微調整されたモデルは、医療用語のFスコアが向上しており、臨床的に関連する診断をよりよく捉えていることが示された。
• 進行情報の「目的」セクション（例：血液検査値）を入力に組み込むと、モデルがしばしば生の検査値を抽出する傾向となり、診断要約の生成が妨げられることが判明した。これは、構造化データの統合方法に改善の余地があることを示唆している。
• ROUGEおよびBERTScoreの指標は、臨床的関連性と中程度の相関を示したが、根拠に基づく評価は依然として課題である。
• 結果から、現在のモデルは、症状・薬物・疾患の関連性を理解する点で依然として困難を抱えていることが明らかになった。これは、臨床的推論における重要なギャップを示している。
• 本研究は、訓練データに潜在的な社会的・言語的バイアスが含まれる可能性があるため、公平性の監査が不可欠であることを強調している。