[논문 리뷰] Aligning Large Language Models for Clinical Tasks

Supun Manathunga, Isuru Hettigoda|arXiv (Cornell University)|2023. 09. 06.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 임상 질문-답변 작업을 위한 대규모 언어 모델(Large Language Models, LLMs)의 정렬을 위해 '확장-추측-다듬기(expand-guess-refine)' 프롬프팅 전략을 제안한다. 이 전략은 검색 증강 생성과 인라인 프롬프팅 기법을 활용하며, USMLE 데이터셋에서 70.63%의 정확도를 기록하여 ChatGPT(59.44%)를 통계적으로 유의미하게 뛰어넘는 성과를 보였다(p = 0.031).

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable adaptability, showcasing their capacity to excel in tasks for which they were not explicitly trained. However, despite their impressive natural language processing (NLP) capabilities, effective alignment of LLMs remains a crucial challenge when deploying them for specific clinical applications. The ability to generate responses with factually accurate content and to engage in non-trivial reasoning steps are crucial for the LLMs to be eligible for applications in clinical medicine. Employing a combination of techniques including instruction-tuning and in-prompt strategies like few-shot and chain-of-thought prompting has significantly enhanced the performance of LLMs. Our proposed alignment strategy for medical question-answering, known as 'expand-guess-refine', offers a parameter and data-efficient solution. A preliminary analysis of this method demonstrated outstanding performance, achieving a score of 70.63% on a subset of questions sourced from the USMLE dataset.

연구 동기 및 목표

• 신뢰할 수 있는 임상 의사결정을 위한 대규모 언어 모델(LLMs)의 정렬 문제를 해결하기 위해.
• 광범위한 파인튜닝 없이도 의료 맥락에서의 사실 정확성과 추론 능력을 향상시키기 위해.
• 파rameter 및 데이터 효율적인 정렬 전략을 개발하여 성능 향상과 함께 설명 가능성과 검증 가능성 확보하기 위해.
• 검색 증강 프롬프팅이 고위험 임상 추론 과제에서 표준 제로샷 또는 파인튜닝된 LLMs를 능가할 수 있는지 평가하기 위해.
• 비모수적 지식 검색과 구조화된 프롬프팅의 조합이 임상 적용 분야에서 LLM의 신뢰성을 어떻게 크게 향상시킬 수 있는지 입증하기 위해.

제안 방법

• 확장-추측-다듬기 전략은 세 단계로 구성된다: 벡터 데이터베이스에서 검색한 생물의학 지식을 입력 컨텍스트에 확장하는 것.
• '추측' 단계에서는 모델이 답변 옵션을 보지 않은 상태에서 확장된 컨텍스트를 바탕으로 질문에 대한 답변을 생성한다.
• '다듬기' 단계에서는 생성된 추측과 검색된 증거를 모두 활용하여 제공된 선택지 중 최상의 답변을 단계별 추론을 통해 선택한다.
• 논리적 일관성과 정확도 향상을 위해 소수의 예시(few-shot) 및 사고의 사슬(Chain-of-Thought, CoT) 프롬프팅을 활용한다.
• 검색은 교과서 장면을 담은 벡터 데이터베이스를 사용하며, 상위-k 문서를 검색하여 모델의 응답을 기반화한다.
• 모델 파인튜닝을 피하기 위해 인라인 프롬프팅과 검색 증강을 유일한 수단으로 활용함으로써 계산 효율성과 적용 유연성을 확보한다.

Figure 1: Expansion of the context.

실험 결과

연구 질문

• RQ1 검색 증강 프롬프팅은 의료 질문-답변 과제에서 LLM의 사실 정확성과 추론 성능을 향상시킬 수 있는가?
• RQ2 확장-추측-다듬기 프롬프팅 전략은 임상 QA 벤치마크에서 제로샷 및 파인튜닝 기반 모델을 능가하는가?
• RQ3 사고의 사슬과 소수의 예시 학습과 같은 인라인 프롬프팅 기법이 파인튜닝 없이 LLM의 추론 능력을 얼마나 향상시킬 수 있는가?
• RQ4 파rameter 효율적인 검색 기반 정렬 전략은 임상 LLM 응용 분야에서 설명 가능하고 검증 가능한 출력을 생성할 수 있는가?
• RQ5 비모수적 지식 검색 통합이 파라미터 지식에만 의존하는 것과 비교해 USMLE 데이터셋에서 LLM 성능에 어떤 영향을 미치는가?

주요 결과

• 확장-추측-다듬기 전략은 USMLE 개발 세트의 첫 100개 질문에서 70.63%의 테스트 정확도를 기록하여 ChatGPT의 59.44%를 통계적으로 유의미하게 뛰어넘었다(p = 0.031).
• 기준 모델 대비 성능 향상이 통계적으로 유의미하여, 임상 추론 과제에서의 강건성과 신뢰성을 입증했다.
• 검색 증강 프롬프팅은 모델이 외부 의료 지식에 접근하고 활용하는 능력을 향상시켜 사실 기반의 정확성을 높였다.
• 프레임워크 내에서 사고의 사슬과 소수의 예시 프롬프팅을 활용함으로써 추론의 일관성이 향상되고 환각 현상이 감소했다.
• 파인튜닝 없이도 높은 성능을 달성하여 임상 환경에서의 배포에 있어 확장 가능하고 효율적인 방법이 되었다.
• 모델의 출력이 더 설명 가능했으며, 추론 단계와 증거 자료가 검색된 문서와 내부 논리로 거슬러 올라갈 수 있었다.

Figure 2: The Guess strategy.