[논문 리뷰] Biomedical knowledge graph-optimized prompt generation for large language models

Karthik Soman, Peter W. Rose외 12명|arXiv (Cornell University)|2023. 11. 29.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 SPOKE 지식 그래프를 사용하여 생물의학 LLM을 향상시키는 토큰 최적화된 지식 그래프 기반 검색 증강 생성(KG-RAG) 프레임워크를 제안한다. 최소한의 그래프 스키마를 적용하고 임bedding 기반의 컨텍스트 프루닝을 통해, 정확도를 유지하면서도 토큰 소비를 50% 이상 감소시킨다. Llama-2-13b를 사용하여 어려운 다중 선택 생물의학 데이터셋에서 71% 향상된 성능을 달성하며, 오픈소스 및 전용 LLM에서 비용 효율적이고 정확하며 근거를 명시한 생성이 가능함을 입증한다.

ABSTRACT

Large Language Models (LLMs) are being adopted at an unprecedented rate, yet still face challenges in knowledge-intensive domains like biomedicine. Solutions such as pre-training and domain-specific fine-tuning add substantial computational overhead, requiring further domain expertise. Here, we introduce a token-optimized and robust Knowledge Graph-based Retrieval Augmented Generation (KG-RAG) framework by leveraging a massive biomedical KG (SPOKE) with LLMs such as Llama-2-13b, GPT-3.5-Turbo and GPT-4, to generate meaningful biomedical text rooted in established knowledge. Compared to the existing RAG technique for Knowledge Graphs, the proposed method utilizes minimal graph schema for context extraction and uses embedding methods for context pruning. This optimization in context extraction results in more than 50% reduction in token consumption without compromising the accuracy, making a cost-effective and robust RAG implementation on proprietary LLMs. KG-RAG consistently enhanced the performance of LLMs across diverse biomedical prompts by generating responses rooted in established knowledge, accompanied by accurate provenance and statistical evidence (if available) to substantiate the claims. Further benchmarking on human curated datasets, such as biomedical true/false and multiple-choice questions (MCQ), showed a remarkable 71% boost in the performance of the Llama-2 model on the challenging MCQ dataset, demonstrating the framework's capacity to empower open-source models with fewer parameters for domain specific questions. Furthermore, KG-RAG enhanced the performance of proprietary GPT models, such as GPT-3.5 and GPT-4. In summary, the proposed framework combines explicit and implicit knowledge of KG and LLM in a token optimized fashion, thus enhancing the adaptability of general-purpose LLMs to tackle domain-specific questions in a cost-effective fashion.

연구 동기 및 목표

• 생물의학 분야에서 LLM을 피지컬러닝하는 데 소요되는 높은 계산 비용과 도메인 전문 지식 비용을 해결하기 위해.
• 생물의학 추론에서 사실적 정확도를 훼손하지 않고 RAG 파이프라인의 토큰 소비를 줄이기 위해.
• Llama-2와 같은 오픈소스 LLM이 전용 모델(GPT-3.5, GPT-4 등)과 동일하거나 이를 초월하는 도메인 전용 생물의학 작업에서 성능을 내도록 보장하기 위해.
• 생물의학 지식 그래프에서 명시적 및 암시적 지식을 강력하고 비용 효율적인 방식으로 LLM에 통합하기 위해.
• 생물의학적 맥락에서 LLM이 생성한 주장에 대해 정확한 근거와 통계적 증거를 제공하기 위해.

제안 방법

• 프레임워크는 사실적 기반을 제공하기 위해 생물의학 지식 그래프인 SPOKE를 검색 소스로 사용한다.
• 불필요하거나 중복된 정보를 줄이기 위해 최소한의 그래프 스키마를 적용하여 컨텍스트를 추출한다.
• 낮은 관련성의 컨텍스트를 프루닝하기 위해 임베딩 기반 방법을 사용하여 토큰 사용을 최적화한다.
• 구조화된 포맷으로 검색된 지식을 프롬프트에 통합하여 LLM의 추론를 이끌어낸다.
• 이 방법은 오픈소스(Llama-2-13b) 및 전용 LLM(GPT-3.5-Turbo, GPT-4) 모두를 지원한다.
• 생성된 응답에 대한 근거와 통계적 증거가 자동으로 연결된다.

실험 결과

연구 질문

• RQ1 지식 그래프 최적화된 RAG 프레임워크는 생물의학 LLM 프롬프팅에서 토큰 소비를 줄일 수 있는가, 동시에 정확도를 유지할 수 있는가?
• RQ2 이러한 프레임워크는 오픈소스 LLM의 도메인 전용 생물의학 벤치마크에서 성능을 얼마나 향상시킬 수 있는가?
• RQ3 생물의학 KG에서 명시적 및 암시적 지식을 통합하면 LLM 출력의 사실적 일관성과 근거 제공 능력이 어떻게 향상되는가?
• RQ4 최소한의 스키마와 임베딩 기반 프루닝이 계산 비용을 줄이면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 다양한 생물의학 프롬프트에서 표준 RAG 방법에 비해 이 프레임워크는 얼마나 뛰어난 내구성과 효율성을 보이는가?

주요 결과

• KG-RAG 프레임워크는 표준 RAG 기법에 비해 토큰 소비를 50퍼센트 이상 감소시켰으며, 정확도에 영향을 주지 않았다.
• 어려운 생물의학 다중 선택 문제(MCQ) 데이터셋에서 Llama-2-13b는 KG-RAG를 사용할 경우 성능이 71퍼센트 향상되었다.
• 프레임워크는 GPT-3.5-Turbo와 GPT-4를 포함한 전용 모델의 다양한 생물의학 프롬프트에서 성능을 향상시켰다.
• 생성된 응답에는 가능한 경우 정확한 근거와 통계적 증거가 포함되어 신뢰도가 향상되었다.
• 이 방법은 다양한 LLM에서 뛰어난 내구성을 보였으며, 전용 및 오픈소스 모델에 비용 효율적인 구현이 가능했다.
• SPOKE에서 온 명시적 및 암시적 지식의 통합은 LLM 출력의 사실적 기반과 추론 능력을 크게 향상시켰다.