[論文レビュー] PULSAR at MEDIQA-Sum 2023: Large Language Models Augmented by Synthetic Dialogue Convert Patient Dialogues to Medical Records

Viktor Schlegel, Hao Li+9 more|arXiv (Cornell University)|Jul 5, 2023

Machine Learning in HealthcareComputer Science被引用数 3

ひとこと要約

本論文では、分野特化型の事前学習と合成データ拡張を用いて、患者と医師の対話を臨床ノートに変換する大規模言語モデルフレームワークPULSARを提示する。事前学習とデータ拡張による向上は限定的であったが、モデルサイズのスケーリングが最も顕著なパフォーマンス向上をもたらし、MEDIQA-Sum 2023チャレンジのタスクBで2位および3位を達成した。

ABSTRACT

This paper describes PULSAR, our system submission at the ImageClef 2023 MediQA-Sum task on summarising patient-doctor dialogues into clinical records. The proposed framework relies on domain-specific pre-training, to produce a specialised language model which is trained on task-specific natural data augmented by synthetic data generated by a black-box LLM. We find limited evidence towards the efficacy of domain-specific pre-training and data augmentation, while scaling up the language model yields the best performance gains. Our approach was ranked second and third among 13 submissions on task B of the challenge. Our code is available at https://github.com/yuping-wu/PULSAR.

研究の動機と目的

• 大規模言語モデルを臨床対話要約に適応させるために、分野特化型事前学習とデータ拡張が有効であるかを調査すること。
• 最小限の適応で済ませて、統一されたLLMフレームワークが新しい医療NLPタスクに一般化できるかを評価すること。
• 患者-医師対話から構造化された医療記録のセクションに変換することで、臨床文書作成の自動化を向上させること。
• モデルサイズ、事前学習、データ拡張が、医療現場における要約生成パフォーマンスに与える影響を評価すること。
• ブラックボックスLLMを用いて合成データを生成する手法が、リソースが限られた医療NLPタスクの向上に有効であるかを検討すること。

提案手法

• 実臨床ノートから抽出した擬似要約用医療用語の再構築を目的とした事前学習を実施し、大規模言語モデルを微調整した。
• 指示テンプレートを用いてブラックボックスLLM（例：GPT-3.5）にプロンプトを発行し、タスク固有の対話-ノートペアを生成することで、合成学習データを生成した。
• パラメータのわずかなサブセット（7Bモデルの1.1％）のみを更新するアダプタベースの微調整を適用し、計算コストを低減した効率的な適応を実現した。
• タスクBおよびCにおいて、実データおよび拡張データの両方を用いて、ROUGE、ROUGE-L、ROUGE-LSumスコアでパフォーマンスを評価した。
• モデルサイズ（例：3B、11B）や学習戦略（フル微調整対アダプタ微調整）を変えてモデルバリアントを比較し、スケーリングと適応の影響を分離した。
• 2段階の訓練プロセスを採用：まず医療用語の再構築を目的とした事前学習を行い、次に実データおよび合成データを用いた対話-ノート生成への微調整を実施した。

Figure 1: Example of the pre-train objective of PULSAR. Both Masked Language Model (MLM) and Gap Sentences Generation (GSG) have been employed in this scenario. Red and orange arrows exemplify the UMLS and N2C2 MLM masking strategy, respectively. Meanwhile, the black arrow shows the GSG masking stra

実験結果

リサーチクエスチョン

• RQ1 分野特化型事前学習は、臨床対話要約におけるゼロショットまたはフェイントショット性能を向上させるか？
• RQ2 実データが限られている状況において、合成データ拡張がモデルの一般化性能をどの程度向上させるか？
• RQ3 アダプタのようなアーキテクチャ的適応と比較して、モデルサイズの拡大が対話-医療ノート生成タスクにおけるパフォーマンスに与える影響は？
• RQ4 タスク固有の再トレーニングなしで、1つのLLMフレームワークがMEDIQA-Sumチャレンジの複数のサブタスクに効果的に一般化できるか？
• RQ5 デコードハイパーパramーターやプロンプト工学が、臨床要約における生成品質と幻覚発生率に与える影響は？

主な発見

• モデルサイズを3Bから11Bパラメータに拡大したことで、すべての指標で最も顕著なパフォーマンス向上が見られた。
• 11Bモデルは、MEDIQA-Sum 2023チャレンジのタスクBで2位および3位を達成し、タスク固有の適応を最小限に抑えても優れた一般化性能を示した。
• データ拡張により、テストセットでROUGE-1が1.77ポイント、ROUGE-2が1.81ポイント、ROUGE-Lが2.94ポイント、ROUGE-LSumが2.45ポイント向上した。特に、小さいモデルに対して顕著な恩恵があった。
• 改善は見られたが、大規模モデル（例：3Bモデル）では、十分な実データがある状況で性能の飽和が見られたため、データ拡張によるさらなる向上は顕著ではなかった。
• アダプタ微調整は妥当なパフォーマンスを達成したが、小さなモデルでもフル微調整に劣っており、パラメータ全体の更新がより効果的であることが示された。
• モデルは典型的な生成問題（幻覚や入力コピー）を示したが、特にタスクCのような低データ環境では、データ拡張によりこれらの問題が緩和された。