[논문 리뷰] Improving Medical Reasoning through Retrieval and Self-Reflection with Retrieval-Augmented Large Language Models

Minbyul Jeong, Jiwoong Sohn외 2명|arXiv (Cornell University)|2024. 01. 27.

Topic Modeling인용 수 4

한 줄 요약

Self-BioRAG는 생물의학 및 임상 질문-답변 작업을 위해 특별히 설계된 검색 보강형 자기 반성적 대규모 언어 모델 프레임워크이다. 이 프레임워크는 도메인 특화 증거를 동적으로 검색하고, 이를 파rametric 지식과 통합하며, 자신의 추론을 자기 평가하는 방식으로 의료 추론 능력을 향상시킨다. 이는 세 가지 주요 의료 벤치마크에서 최신 7B 오픈소스 모델 대비 7.2%p의 절대 정확도 향상을 달성한다.

ABSTRACT

Recent proprietary large language models (LLMs), such as GPT-4, have achieved a milestone in tackling diverse challenges in the biomedical domain, ranging from multiple-choice questions to long-form generations. To address challenges that still cannot be handled with the encoded knowledge of LLMs, various retrieval-augmented generation (RAG) methods have been developed by searching documents from the knowledge corpus and appending them unconditionally or selectively to the input of LLMs for generation. However, when applying existing methods to different domain-specific problems, poor generalization becomes apparent, leading to fetching incorrect documents or making inaccurate judgments. In this paper, we introduce Self-BioRAG, a framework reliable for biomedical text that specializes in generating explanations, retrieving domain-specific documents, and self-reflecting generated responses. We utilize 84k filtered biomedical instruction sets to train Self-BioRAG that can assess its generated explanations with customized reflective tokens. Our work proves that domain-specific components, such as a retriever, domain-related document corpus, and instruction sets are necessary for adhering to domain-related instructions. Using three major medical question-answering benchmark datasets, experimental results of Self-BioRAG demonstrate significant performance gains by achieving a 7.2% absolute improvement on average over the state-of-the-art open-foundation model with a parameter size of 7B or less. Overall, we analyze that Self-BioRAG finds the clues in the question, retrieves relevant documents if needed, and understands how to answer with information from retrieved documents and encoded knowledge as a medical expert does. We release our data and code for training our framework components and model weights (7B and 13B) to enhance capabilities in biomedical and clinical domains.

연구 동기 및 목표

• 일반 목적의 LLM이 생물의학적 추론에서 겪는 한계, 특히 환각 현상과 사실 기반 부족 문제를 해결하기 위해.
• 수요에 따라 검색 기반 지식 통합과 자기 반성 기능을 결합함으로써 도메인 특화 의료 질문-답변 성능을 향상시키기 위해.
• 생물의학적 검색기, 코퍼스, 지침 튜닝된 모델 등 도메인 특화 구성 요소가 고정밀도 의료 추론을 위해 필수적임을 입증하기 위해.
• 검색된 증거와 파rametric 지식을 통합하고 자기 평가 기능을 통해 전문의의 추론 방식을 모방하는 프레임워크를 개발하기 위해.
• 연구 발전을 위해 전체적으로 트레이닝된 7B 및 13B 모델, 데이터, 코드를 공개하기 위해.

제안 방법

• 프레임워크는 84,000개의 필터링된 생물의학 지침 세트로 훈련된 도메인 특화 지침 튜닝 LLM(7B/13B)을 사용하여 답변을 생성하고 반성한다.
• 검색기(MedCPT)를 활용해 코퍼스에서 관련 생물의학 문서를 확보한다: PubMed 개요, PMC 전문, 임상 지침, 의학 교과서.
• Self-BioRAG는 반영 토큰을 사용하여 검색이 필요한지, 검색된 증거가 답변을 지지하는지, 최종 응답이 유용한지 스스로 평가한다.
• 질문의 복잡성과 증거 필요성에 따라 파arametric 지식만을 사용하는 직접 생성 방식과 검색 보강 생성 방식 사이에서 동적으로 결정한다.
• 검색된 증거(파란색으로 강조)와 모델 내부 지식(빨간색)을 통합하여 추론 과정과 답변을 생성한다.
• 멀티체스 질문 답변, 요약, 임상 추론 작업에 중점을 두고 엔드 투 엔드로 훈련된다.

Figure 1 : Comparison between three frameworks: generation using language model (LM), retrieval-augmented generation (RAG) using LM, and our Self-BioRAG. (A) depicts the process of sequence-to-sequence generation of LM. (B) The RAG framework first finds relevant documents from large-scale corpus suc

실험 결과

연구 질문

• RQ1 검색 보강형 자기 반성적 LLM 프레임워크가 일반 목적의 모델보다 생물의학 질문-답변에서 뛰어난 성능을 낼 수 있는가?
• RQ2 도메인 특화 구성 요소—검색기, 코퍼스, 지침 데이터, 반성 메커니즘—의 사용이 추론 정확도에 상당한 영향을 미치는가?
• RQ3 자기 반성 토큰이 의료 맥락에서 검색 결정과 답변 품질을 효과적으로 이끌 수 있는가?
• RQ4 검색된 증거와 파arametric 지식을 통합하는 방식이 내부 지식에만 의존하는 것과 비교해 의료 추론에서 더 정확하고 설명 가능한 결과를 낳는가?
• RQ5 이 프레임워크는 임상 지침이나 교과서 지식이 필요한 질문을 포함한 다양한 유형의 의료 질문에 일반화되는가?

주요 결과

• Self-BioRAG는 세 가지 주요 의료 질문-답변 벤치마크에서 최신 오픈소스 7B 모델 대비 평균 정확도 7.2%p 향상되었다.
• PubMedQA 데이터셋에서 Self-BioRAG는 54.6%의 정확도를 기록했으며, LLaMA2(56.0%) 및 MEDITRON(58.1%) 모델보다 略적으로 낮은 성능을 보였는데, 이는 검색에서 유해한 증거의 영향 때문으로 추정된다.
• USMLE 스타일 질문을 해결할 때 Self-BioRAG는 의학 교과서 코퍼스에서 상대적으로 더 높은 비율의 관련 증거를 검색했다.
• Self-BioRAG는 간단한 질문에서는 검색이 불필요하다고 정확히 식별하여 파arametric 지식에 의존하고, 복잡하고 증거에 의존하는 질문에서는 검색을 활용한다.
• 검색된 증거와 파arametric 지식의 통합은 PCOS 및 포도당 탄력성 저하 사례 연구를 통해 더 정확하고 설명 가능한 진단을 이끌어내는 데 성공했다.
• 프레임워크는 일반 목적의 RAG 방법이 임상 및 생물의학 환경에서 효과적으로 일반화되지 못함을 입증함으로써 도메인 특화 구성 요소가 필수적임을 보여주었다.

Figure 2 : Overview of our Self-BioRAG process: data construction, training, and inference of Self-Reflection Language Model (critic LM $C$ ) and Domain-specific Instruction-tuned Language Model (generator LM $M$ ). We construct 120k biomedical instruction sets using two off-the-shelf instruction se