[논문 리뷰] Summarizing, Simplifying, and Synthesizing Medical Evidence Using GPT-3 (with Varying Success)

Chantal Shaib, Millicent Li외 4명|arXiv (Cornell University)|2023. 05. 10.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 전문가가 주석을付けた 데이터를 사용하여 제로샷 환경에서 GPT-3의 생물의학적 증거 요약, 단순화 및 융합 능력을 평가한다. GPT-3는 사실적으로 정확한 단일 문서 요약과 평이한 언어로 된 단순화를 생성하지만, 여러 임상 시험에 걸친 다중 문서 증거 융합에서는 어려움을 겪으며 종종 잘못되거나 오해의 소지가 있는 결과 집합을 만들어내는 경향이 있다.

ABSTRACT

Large language models, particularly GPT-3, are able to produce high quality summaries of general domain news articles in few- and zero-shot settings. However, it is unclear if such models are similarly capable in more specialized, high-stakes domains such as biomedicine. In this paper, we enlist domain experts (individuals with medical training) to evaluate summaries of biomedical articles generated by GPT-3, given zero supervision. We consider both single- and multi-document settings. In the former, GPT-3 is tasked with generating regular and plain-language summaries of articles describing randomized controlled trials; in the latter, we assess the degree to which GPT-3 is able to \emph{synthesize} evidence reported across a collection of articles. We design an annotation scheme for evaluating model outputs, with an emphasis on assessing the factual accuracy of generated summaries. We find that while GPT-3 is able to summarize and simplify single biomedical articles faithfully, it struggles to provide accurate aggregations of findings over multiple documents. We release all data and annotations used in this work.

연구 동기 및 목표

• 제로샷 환경에서 GPT-3가 생물의학 문헌의 요약에 대해 사실적 정확도를 가지는지 평가하는 것.
• GPT-3가 기술적 임상 시험 요약을 평이한 언어로 단순화할 수 있는지 평가하는 것.
• GPT-3가 여러 임상 시험 摘要를 종합하여 일관되고 증거 기반 요약을 생성할 수 있는지 조사하는 것.
• 대규모 언어 모델이 생성한 의료 요약과 관련된 일반적인 사실 오류와 위험 요소를 파악하는 것.

제안 방법

• 100개의 무작위 대조 시험 요약과 50개의 메타분석에서 기술적 요약과 평이한 언어 요약을 생성하기 위해 GPT-3(text-davinci-003)를 사용하였다.
• 분야 전문가가 참여한 맞춤형 주석 체계를 도입하여 요약의 사실성, 유창성, 유용성을 평가하였다.
• Label Studio를 사용하여 각 샘플당 3개의 주석(모두 300개)을 수집하였으며, PICO 요소(대상군, 간병, 비교군, 결과)에 중점을 두었다.
• 토큰 길이 제한을 고려해 다중 문서 요약을 위한 이중 단계 전략을 구현하였다.
• 리커트 척도와 자유 기반 주석을 활용해 언어적 품질, 독해 용이성, 사실 일관성을 평가하였다.
• 모델 출력과 주석을 모두 공개하여 향후 의료 대규모 언어 모델 평가 연구를 지원하였다.

Figure 2: Average scores for assessing overall faithfulness, coherence, and usefulness of generated (a) regular summaries and (b) simplified summaries. GPT3-D3 produces high-quality regular and simplified summaries.

실험 결과

연구 질문

• RQ1 RQ1: GPT3-D3는 제로샷 환경에서 의료 논문에 대해 충실도 있는 요약을 생성할 수 있는가?
• RQ2 RQ2: GPT3-D3는 기술적 요약을 사실 내용을 유지하면서 정확하게 평이한 언어로 단순화할 수 있는가?
• RQ3 RQ3: GPT3-D3는 여러 임상 시험 요약에서 유의미한 증거 기반 요약으로 결과를 융합할 수 있는가?
• RQ4 RQ4: GPT3-D3는 어떤 유형의 사실 오류를 범하며, 고위험 의료 환경에서 어떤 위험이 수반되는가?

주요 결과

• GPT-3는 단일 임상 시험 요약에 대해 사실적으로 정확하고 유창한 기술적 요약을 생성하였으며, PICO 요소의 누락이나 오류는 최소한이었다.
• GPT-3는 기술적 요약을 평이한 언어로 단순화하는 데 성공하였으며, 대부분의 단순화 작업에서 핵심 정보를 유지하고 독해 용이성을 향상시켰다.
• 다중 문서 환경에서는 GPT-3가 증거를 정확히 집계하는 데 자주 실패하였으며, 사실상의 모순이나 증거 강도를 잘못 표현하는 경우가 많았다.
• 여러 연구를 종합할 때 GPT-3는 간병의 상대적 효과성을 과도하게 단순화하거나 잘못 표현하는 경향을 보였다.
• 주석자들은 다중 문서 요약의 22%에서 심각한 사실 오류를 확인하였으며, 이는 치료 효과에 대한 잘못된 주장과 핵심 결과 데이터 누락을 포함했다.
• 단일 문서 작업에서 뛰어난 성능을 보였음에도 불구하고, GPT-3가 여러 연구에 걸친 증거를 신뢰성 있게 융합하지 못하는 것은 임상 의사결정 지원 응용 분야에서 심각한 위험을 초래한다.

Figure 3: Average number of errors and omissions made in the generated (a) regular and (b) simplified summaries. Most mistakes made in both cases are minor, and omissions are more frequent than errors.