[論文レビュー] PULSAR: Pre-training with Extracted Healthcare Terms for Summarising Patients' Problems and Data Augmentation with Black-box Large Language Models

Hao Li, Yuping Wu+8 more|arXiv (Cornell University)|Jun 5, 2023

Topic Modeling被引用数 5

ひとこと要約

PULSARは、臨床プログレスノートからの患者の問題リストの要約のためのドメイン固有の事前学習目的およびデータ拡張フレームワークを提案する。マスクされた医療用語抽出とLLM生成の合成データを組み合わせることで、追加のアノテート済みデータを用いずにBioNLP 2023 共同タスクで2位を達成し、開発データにおいてより大きなモデルよりも3.1ポイントの向上を達成した。

ABSTRACT

Medical progress notes play a crucial role in documenting a patient's hospital journey, including his or her condition, treatment plan, and any updates for healthcare providers. Automatic summarisation of a patient's problems in the form of a problem list can aid stakeholders in understanding a patient's condition, reducing workload and cognitive bias. BioNLP 2023 Shared Task 1A focuses on generating a list of diagnoses and problems from the provider's progress notes during hospitalisation. In this paper, we introduce our proposed approach to this task, which integrates two complementary components. One component employs large language models (LLMs) for data augmentation; the other is an abstractive summarisation LLM with a novel pre-training objective for generating the patients' problems summarised as a list. Our approach was ranked second among all submissions to the shared task. The performance of our model on the development and test datasets shows that our approach is more robust on unknown data, with an improvement of up to 3.1 points over the same size of the larger model.

研究の動機と目的

• タスク固有の事前学習を用いて、臨床プログレスノートからの患者の問題リストの抽象的要約を改善すること。
• ブラックボックスLLMを用いたデータ拡張により、大規模なアノテート済みデータセットへの依存を減らすこと。
• 下流タスクの臨床的問題リスト生成と整合性のある事前学習目的を開発すること。
• 限られたアノテート済みデータにおける事前学習とデータ拡張の有効性を評価すること。
• 追加の手動でアノテートされたトレーニングデータを一切使用せずに、BioNLP 2023 共同タスク 1Aで高いパフォーマンスを達成すること。

提案手法

• ギャップ文生成、マスク言語モデル学習、マスク医療用語予測の3つのマスキングポリシーを用いて、MIMIC-IIIプログレスノート上でエンコーダデコーダモデルを事前学習する。
• QuickUMLSおよびi2b2-2010で訓練されたNERモデルを用いて、臨床エンティティをスロットンに置き換えることでマスキングを実施する。
• ギャップ文生成とマスク言語モデル学習を組み合わせた二重の事前学習目的を採用し、要約能力を向上させる。
• ブラックボックスLLMを用いて、元の入力と同一、やや類似、まったく異なるトピックの3種類のラベルを持つ合成データを生成する。
• 実データと拡張データの両方を用いて、事前学習モデルを問題リスト生成タスクで微調整する。
• ROUGEスコアを用いて開発セットおよびテストセットでのパフォーマンスを評価し、入力のバリエーションとしてAssessmentのみ、Assessment+Subjective+Objectiveを含むものを使用する。

実験結果

リサーチクエスチョン

• RQ1 臨床用語とスパンをマスクする新しい事前学習目的は、患者の問題リストの抽象的要約を改善できるか？
• RQ2 アノテート済みデータが限られる状況において、LLMベースのデータ拡張はモデルパフォーマンスをどの程度向上させるか？
• RQ3 入力長（例：Assessment対Assessment+Subjective+Objective）は、問題リスト生成におけるモデルパフォーマンスにどのように影響するか？
• RQ4 モデルサイズが大きくなるにつれて、データ拡張によるパフォーマンス向上の効果は薄れるか？
• RQ5 未知のテストデータにおいて、事前学習済みPULSARモデルはFlanT5 や ClinicalT5 といった強力なベースラインモデルと比べてどうなるか？

主な発見

• PULSARは、11BパラメータのFlanT5モデルよりも開発セットで3.1ポイントのROUGEスコア向上を達成したが、1回分の事前学習エポック未満で実現した。
• 公式テストセットでは、PULSARはClinicalT5-largeを11.2 ROUGEポイント上回り、未知データにおける強力な一般化性能を示した。
• データ拡張は、モデル全体で平均して3ポイントのパフォーマンス向上をもたらしたが、特に小さいモデル（例：ClinicalT5-large）では最大6ポイントの向上が観察された。
• SubjectiveおよびObjectiveセクションを入力に含めることで、開発セットでは7ポイント、テストセットでは2.9ポイントのスコア向上が達成され、Assessmentセクションのみの入力と比較して顕著な改善が得られた。
• 512トークンを超える入力長にしてもパフォーマンス向上が見られず、長文のコンテキストでは収益逓減またはパフォーマンス劣化の可能性があることが示唆された。
• PULSAR-3BとPULSAR-11Bの間のパフォーマンスギャップは最小限に抑えられており、限られたデータで小さなモデルが高いパフォーマンスを達成できるようにする、事前学習目的の有効性が裏付けられた。