[論文レビュー] Summarizing, Simplifying, and Synthesizing Medical Evidence Using GPT-3 (with Varying Success)

Chantal Shaib, Millicent Li+4 more|arXiv (Cornell University)|May 10, 2023

Topic Modeling被引用数 4

ひとこと要約

本研究では、専門家がアノテートしたデータを用いて、ゼロショット設定下でGPT-3が臨床試験のバイオメディカルエビデンスの要約、簡素化、統合を行う能力を評価する。GPT-3は事実的に正確な単一文書要約および一般向けの簡素化を生成できるが、複数文書にわたるエビデンス統合には苦労し、複数の試験の結果を誤ってまたは誤解を招くように集約することが多い。

ABSTRACT

Large language models, particularly GPT-3, are able to produce high quality summaries of general domain news articles in few- and zero-shot settings. However, it is unclear if such models are similarly capable in more specialized, high-stakes domains such as biomedicine. In this paper, we enlist domain experts (individuals with medical training) to evaluate summaries of biomedical articles generated by GPT-3, given zero supervision. We consider both single- and multi-document settings. In the former, GPT-3 is tasked with generating regular and plain-language summaries of articles describing randomized controlled trials; in the latter, we assess the degree to which GPT-3 is able to \emph{synthesize} evidence reported across a collection of articles. We design an annotation scheme for evaluating model outputs, with an emphasis on assessing the factual accuracy of generated summaries. We find that while GPT-3 is able to summarize and simplify single biomedical articles faithfully, it struggles to provide accurate aggregations of findings over multiple documents. We release all data and annotations used in this work.

研究の動機と目的

• ゼロショット設定下でのGPT-3が生成するバイオメディカル文献要約の事実的正確性を評価すること。
• GPT-3が技術的臨床試験要約を一般向けに簡素化する能力を評価すること。
• GPT-3が複数の臨床試験要約から一貫性があり、エビデンスに基づいた要約に統合する能力を調査すること。
• 大規模医療文脈におけるLLMが生成する医療要約に関連する一般的な事実的誤りとリスクを同定すること。

提案手法

• 100件のRCT要約と50件のメタアナリシスから、技術的要約および一般向け要約をGPT-3（text-davinci-003）で生成した。
• 分野の専門家を用いて、要約の事実性、流れ、有用性を評価するためのカスタムアノテーションスキームを採用した。
• Label Studioを用いて、1サンプルあたり3件のアノテーション（全300件）を収集し、PICO要因（対象集団、介入、対照群、結果）に焦点を当てた。
• トークン長の制限に対処するため、2段階戦略を用いて複数文書要約を実施した。
• リッカート尺度および自由記述によるアノテーションを用いて、言語的品質、読みやすさ、事実的一致性を評価した。
• 今後の医療LLM評価研究を支援するため、すべてのモデル出力とアノテーションを公開した。

Figure 2: Average scores for assessing overall faithfulness, coherence, and usefulness of generated (a) regular summaries and (b) simplified summaries. GPT3-D3 produces high-quality regular and simplified summaries.

実験結果

リサーチクエスチョン

• RQ1 RQ1: GPT3-D3はゼロショット設定下で医療論文を忠実に要約できるか？
• RQ2 RQ2: GPT3-D3は技術的要約を正確に一般向けに簡素化できるか、事実的内容を保持できるか？
• RQ3 RQ3: GPT3-D3は複数の臨床試験要約から正確でエビデンスに基づいた要約に統合できるか？
• RQ4 RQ4: GPT3-D3が犯す主な事実的誤りの種類は何か。また、高リスク医療文脈における関連するリスクは何か？

主な発見

• GPT-3は単一臨床試験要約に対して、事実的に正確で流れの良い技術的要約を生成し、PICO要因の欠落や誤りは最小限にとどまった。
• GPT-3は技術的要約を一般向け言語に簡素化するのに成功し、大多数の簡素化要約が重要な情報を保持し、読みやすさが向上していた。
• 複数文書設定では、GPT-3がしばしば正確にエビデンスを集約できず、事実の不一致やエビデンスの強度を誤って表現するケースが多かった。
• 複数の研究を統合する際、GPT-3は介入の相対的有効性を過度に単純化したり、誤って表現する傾向を示した。
• アノテーターは、22％の複数文書要約に重大な事実的誤りを特定した。具体的には治療効果に関する誤った主張や、重要な結果データの欠落が含まれた。
• 単一文書タスクでは優れたパフォーマンスを示したが、GPT-3が複数の研究にわたるエビデンスを信頼性を持って統合できないことは、臨床意思決定支援アプリケーションにおいて顕著なリスクをもたらす。

Figure 3: Average number of errors and omissions made in the generated (a) regular and (b) simplified summaries. Most mistakes made in both cases are minor, and omissions are more frequent than errors.