[論文レビュー] SummQA at MEDIQA-Chat 2023:In-Context Learning with GPT-4 for Medical Summarization

Yash Mathur, Sanketh Rangreji+4 more|arXiv (Cornell University)|Jun 30, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、MEDIQA-2023共有タスクにおける医療対話要約の分野で、GPT-4を用いたコンテキスト内学習アプローチを提示している。セマンティック類似度と最大マージナルレディュンダシー（MMR）を用いてFew-shot例を選択し、セクション別および全ノート要約を実行している。この手法は、Task A（セクション別要約）で2位、Task Bの部門別要約でも2位を達成し、抽出的忠実性と長さに制限があるものの、Few-shotプロンプティング性能が優れていることを示している。

ABSTRACT

Medical dialogue summarization is challenging due to the unstructured nature of medical conversations, the use of medical terminology in gold summaries, and the need to identify key information across multiple symptom sets. We present a novel system for the Dialogue2Note Medical Summarization tasks in the MEDIQA 2023 Shared Task. Our approach for section-wise summarization (Task A) is a two-stage process of selecting semantically similar dialogues and using the top-k similar dialogues as in-context examples for GPT-4. For full-note summarization (Task B), we use a similar solution with k=1. We achieved 3rd place in Task A (2nd among all teams), 4th place in Task B Division Wise Summarization (2nd among all teams), 15th place in Task A Section Header Classification (9th among all teams), and 8th place among all teams in Task B. Our results highlight the effectiveness of few-shot prompting for this task, though we also identify several weaknesses of prompting-based approaches. We compare GPT-4 performance with several finetuned baselines. We find that GPT-4 summaries are more abstractive and shorter. We make our code publicly available.

研究の動機と目的

• 限られたアノテート済みデータとプライバシー制約による低リソース医療対話要約の課題に対処すること。
• GPT-4を用いたFew-shotコンテキスト内学習により、医師-患者対話から正確で構造化されたSOAPノートを生成すること。
• セマンティック類似度とMMRを用いて関連性の高いコンテキスト例を選択することで、要約品質を向上させること。
• ファインチューニング済みモデル（BART や T5 など）と比較し、低データ医療環境下におけるGPT-4のゼロショットおよびFew-shot性能を評価すること。
• プロンプティングベースのLLMの限界、特に幻覚、確率的変動、抽出的能力の低下を分析すること。

提案手法

• セクション別要約（Task A）では、文の埋め込みとMMRを用いて、セマンティック的に類似した対話を上位k件選択し、GPT-4のコンテキスト内デモンストレーションとして使用する。
• 二段階パイプラインを採用：(1)ファインチューニング済みBioBERTを用いたセクションヘッダー分類、(2)選択された例を用いたコンテキストプロンプティングによる要約生成。
• 全ノート要約（Task B）では、トークン長の制約上、k=1のコンテキスト例のみを用いる。これはセマンティック類似度に基づいて選択された。
• 対話と候補例との間のセマンティック類似度を計算するために、MiniLM文の埋め込みを採用する。
• コンテキスト例は、GPT-4の生成をガイドするための入力-出力テンプレート形式で構造化され、出力の確率的変動を低減するため温度を0に設定している。
• リtrieバルベースの例選択とGPT-4のFew-shotコンテキスト内学習を組み合わせることで、ファインチューニングなしに要約を生成する。

実験結果

リサーチクエスチョン

• RQ1 GPT-4を用いたコンテキスト内学習は、低リソース医療要約において、BART や T5 のようなファインチューニング済みモデルを上回ることができるか？
• RQ2 コンテキスト内例の数（k）が、医療対話タスクにおける要約品質に与える影響は何か？
• RQ3 GPT-4が生成した要約は、人間の基準要約と比較して、長さ、抽出的忠実性、抽象的品質の面でどのように異なるか？
• RQ4 高リスク医療要約におけるプロンプティングベースのLLMの主な限界は何か。特に幻覚と一貫性の欠如について。
• RQ5 Few-shot設定において、MMRに基づく例選択は、ランダム選択や非重複選択よりも要約品質を向上させることができるか？

主な発見

• 本システムは、全体で3位、Task A（セクション別要約）でチーム内2位を達成し、強力なFew-shot性能を示した。
• Task Bの部門別要約では、全体で4位、チーム内2位を達成し、全ノート生成の有効性を裏付けた。
• コンテキスト内例の数（k）を増やすことで、ROUGE-Lが40.3（k=3）から42.8（k=7）に上昇し、一貫した性能向上が確認された。
• GPT-4の要約は、人間基準要約やファインチューニング済みモデルと比較して、顕著に短く、抽象的であることが判明し、抽出的忠実性が低いことが示された。
• 高い性能を示したが、温度=0であっても出力に確率的変動が見られ、コンテキスト内学習の不安定性が浮き彫りになった。
• 本手法は、幻覚やプライバシー上の懸念を含む倫理的リスクを明らかにした。したがって、事後的な事実検証と厳密なHIPAA準拠が不可欠である。