[논문 리뷰] Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs

Jiejun Tan, Zhicheng Dou외 4명|arXiv (Cornell University)|2024. 02. 19.

Private Equity and Venture Capital인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 언제 그리고 어떤 지식을 검색할지를 결정하기 위해 작은 프록시 언어 모델을 사용하는 SlimPLM를 제안한다. 이는 불필요한 검색을 줄이고 추론 비용을 낮춘다. 프록시 모델이 히우리스틱 답변을 생성함으로써 지식의 누락을 식별하고, 타겟팅된 검색 쿼리를 구성함으로써, 다섯 개인 질문-답변 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 LLM 추론 비용을 낮춘다.

ABSTRACT

The integration of large language models (LLMs) and search engines represents a significant evolution in knowledge acquisition methodologies. However, determining the knowledge that an LLM already possesses and the knowledge that requires the help of a search engine remains an unresolved issue. Most existing methods solve this problem through the results of preliminary answers or reasoning done by the LLM itself, but this incurs excessively high computational costs. This paper introduces a novel collaborative approach, namely SlimPLM, that detects missing knowledge in LLMs with a slim proxy model, to enhance the LLM's knowledge acquisition process. We employ a proxy model which has far fewer parameters, and take its answers as heuristic answers. Heuristic answers are then utilized to predict the knowledge required to answer the user question, as well as the known and unknown knowledge within the LLM. We only conduct retrieval for the missing knowledge in questions that the LLM does not know. Extensive experimental results on five datasets with two LLMs demonstrate a notable improvement in the end-to-end performance of LLMs in question-answering tasks, achieving or surpassing current state-of-the-art models with lower LLM inference costs.

연구 동기 및 목표

• LLM가 불필요한 계산과 관련 없는 결과를 피하기 위해 검색이 필요한 시점을 판단하는 문제를 해결하기 위해.
• 다수의 LLM 추론에 의존하는 기존의 검색 보강 생성(Retrieval-Augmented Generation, RAG) 방법의 높은 계산 비용을 줄이기 위해.
• 경량 프록시 모델을 사용해 지식 격차를 식별함으로써, LLM 기반 질문-답변의 정확성과 효율성을 향상시키기 위해.
• 누락된 지식에 대해서만 선택적이고 타겟팅된 검색을 가능하게 하여 지연 시간과 자원 사용을 최소화하기 위해.

제안 방법

• 주 LLM보다 훨씬 적은 파라미터를 가진 슬림한 프록시 언어 모델을 사용해 사용자 질문마다 히우리스틱 답변을 생성한다.
• 경량 모델을 통해 히우리스틱 답변의 품질을 평가하여 검색이 필요한지 여부를 판단한다.
• 고품질의 히우리스틱 답변은 LLM이 충분한 지식을 이미 보유하고 있음을 시사하므로 검색을 회피하고, 저품질의 답변은 검색을 유도한다.
• 히우리스틱 답변을 특정 지식 격차를 반영하는 부분질문들로 분해하고, 이를 바탕으로 타겟팅된 검색 쿼리를 생성한다.
• 검색이 필요한 쿼기지만, 검색 시스템에만 전달되어 관련성 있고 집중된 지식 확보가 보장된다.
• 기존 RAG 프레임워크에 최소한의 계산 오버헤드로 통합되며, 주 LLM의 파인튜닝이 필요하지 않다.

실험 결과

연구 질문

• RQ1 작은 프록시 모델이 대규모 언어 모델의 지식 격차를 효과적으로 탐지할 수 있는가?
• RQ2 프록시 모델을 사용하면 검색 보강 생성의 계산 비용을 줄일 수 있을까? 이는 성능을 유지하거나 향상시키는가?
• RQ3 작은 모델의 히우리스틱 답변이 누락된 지식을 위한 정밀한 검색 쿼리를 이끌어낼 수 있는가?
• RQ4 SlimPLM의 성능은 정확도와 추론 비용 측면에서 최신 기술 수준의 RAG 방법과 비교해 어떻게 되는가?
• RQ5 프록시 모델이 다양한 질문-답변 데이터셋에서 검색 필요성 평가에 대해 강건한가?

주요 결과

• SlimPLM는 작은 프록시 모델과 최소한의 LLM 추론만으로 다섯 개의 벤치마크 질문-답변 데이터셋에서 최신 기술 수준의 성능을 달성하거나 초월한다.
• LLM 추론 비용을 줄여주며, 모델이 독립적으로 답변할 수 있는 질문에 대해서는 검색을 회피함으로써 비용 절감 효과를 얻는다.
• 프록시 모델의 히우리스틱 답변은 지식 격차 식별에 효과적이며, 검색이 필요한 시점을 일관되게 탐지한다.
• 부분질문에서 유도된 타겟팅된 쿼리 생성은 검색의 관련성과 후속 답변 품질을 향상시킨다.
• 저지연성과 낮은 계산 오버헤드를 유지하여 실시간 응용에 적합하다.
• 실험 결과, 특히 환각 현상과 검색 노이즈를 줄이는 데 있어 기준 RAG 방법에 비해 뚜렷한 성능 향상을 보였다.