[논문 리뷰] SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool

Youyang Ng, Daisuke Miyashita외 5명|arXiv (Cornell University)|2023. 08. 08.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

SimplyRetrieve는 파인튜닝 없이 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 Retrieval-Centric Generation(RCG)를 구현할 수 있는 오픈소스이자 경량이며 개인정보 보호 기능을 갖춘 도구입니다. LLM이 맥락을 해석하는 것과 리트리버가 지식을 기억하는 것을 분리함으로써 RCG는 사실적 정확도를 향상시키고 환상적인 생성을 줄이며 추론 속도를 높입니다. 이로 인해 응답 토큰 수가 36% 감소하고 기준 LLM 대비 30% 빠른 속도를 기록했으며, Rouge-L 점수는 ROG의 0.186에서 RCG의 0.413으로 상승했습니다.

ABSTRACT

Large Language Model (LLM) based Generative AI systems have seen significant progress in recent years. Integrating a knowledge retrieval architecture allows for seamless integration of private data into publicly available Generative AI systems using pre-trained LLM without requiring additional model fine-tuning. Moreover, Retrieval-Centric Generation (RCG) approach, a promising future research direction that explicitly separates roles of LLMs and retrievers in context interpretation and knowledge memorization, potentially leads to more efficient implementation. SimplyRetrieve is an open-source tool with the goal of providing a localized, lightweight, and user-friendly interface to these sophisticated advancements to the machine learning community. SimplyRetrieve features a GUI and API based RCG platform, assisted by a Private Knowledge Base Constructor and a Retrieval Tuning Module. By leveraging these capabilities, users can explore the potential of RCG for improving generative AI performance while maintaining privacy standards. The tool is available at https://github.com/RCGAI/SimplyRetrieve with an MIT license.

연구 동기 및 목표

• 개발자와 연구자들이 쉽게 사용할 수 있고 로컬에서 배포 가능한 플랫폼을 제공함으로써 Retrieval-Centric Generation(RCG)에 대한 접근성을 넓히는 것.
• 표준 LLM이 장기적인 희귀 사실 지식을 기억하는 데에 한계가 있고 환상적인 생성이 발생하는 문제를 해결하기 위해 LLM과 리트리버의 역할을 명시적으로 분리하는 것.
• 개인 지식 기반과 검색 튜닝을 활용해 클라우드 기반 LLM에 의존하지 않고도 비공개로 현장에서 AI 생성 시스템을 배포할 수 있도록 하는 것.
• 기존의 검색 기반 생성(RAG)과 영감 없는 프롬프트 입력 방식과 비교했을 때 RCG의 성능, 효율성, 해석 가능성에 대한 이점을 탐색하는 것.
• 통제되고 개인정보 보호 기능이 강화된 환경에서 프롬프트 엔지니어링과 검색 최적화를 지원함으로써 더 안전하고 책임감 있는 AI 개발을 촉진하는 것.

제안 방법

• 모델 파인튜닝 없이도 사용자가 검색된 지식을 통해 LLM과 상호작용할 수 있도록 하는 GUI 및 API 기반 인터페이스를 구현하여 종단 간 RCG 워크플로우를 지원하는 것.
• 사용자가 도메인 특화의 로컬 저장 지식 저장소를 구축하고 관리할 수 있도록 비공개 지식 기반 생성기(Private Knowledge Base Constructor)를 도입하는 것.
• 검색 품질과 관련성을 최적화하여 후속 생성 성능을 향상시키기 위해 검색 튜닝 모듈(Retrieval Tuning Module)을 통합하는 것.
• 다양한 지식 소스를 동적으로 통합하여 커버리지와 정확도를 향상시키기 위해 지식 기반 혼합(Mixtures-of-Knowledge-Bases, MoKB) 모드를 지원하는 것.
• 검색된 지식이 프롬프트에 얼마나 포함될지 제어하기 위해 명시적 프롬프트 가중치(Explicit Prompt-Weighting, EPW)를 적용하며, 50% EPW가 사실적 일관성을 유지하는 데 효과적임을 입증함.
• LLM의 핵심으로 Llama-2-13B-chat을 사용하고, 자체 생성한 데이터셋을 기반으로 Rouge-L 점수와 추론 시간을 통해 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 표준 영감 없는 프롬프트 입력 방식과 비교했을 때, 검색 중심 접근 방식이 LLM 생성 응답의 환상적 생성을 상당히 줄일 수 있는가?
• RQ2 RCG는 전통적인 RAG와 직접적인 LLM 프롬프트 입력 방식(ROG)에 비해 사실적 정확도, 응답 길이, 추론 속도 측면에서 어떻게 비교되는가?
• RQ3 13B 파라미터 LLM이 파인튜닝 없이도 새로운 지식에 대해 정확하고 사실적인 응답을 생성할 수 있는가? 그 정도는 어느 정도인가?
• RQ4 명시적 프롬프트 가중치(EPW)는 RCG에서 검색의 영향력과 생성 품질 사이의 균형을 얼마나 효과적으로 조절하는가?
• RQ5 가벼운 로컬 호스팅 RCG 시스템은 데이터 프라이버시를 유지하면서도 계산 오버헤드를 줄이며 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• RCG는 Rouge-L 점수 0.413을 기록하여 기준 ROG(0.186)와 RAG(0.359)를 크게 앞서며, 사실 기반 생성 정확도가 뛰어나다는 것을 입증했습니다.
• 삽입된 지식으로 인해 프롬프트가 더 길어졌음에도 불구하고, RCG는 ROG 대비 평균 응답 토큰 수를 36% 감소시켜 더 간결하고 집중된 생성을 이끌어냈습니다.
• RCG는 평균 추론 시간을 11.67초로 단축시켜 ROG의 17.22초 대비 32% 향상시켰으며, 더 긴 입력 맥락에도 불구하고 더 효율적임을 시사했습니다.
• 50%의 명시적 프롬프트 가중치(EPW)를 적용한 RCG-EPW는 사실적 정확성을 유지하면서도 부분적인 응답을 생성함으로써 완전성과 신뢰성 사이의 트레이드오���을 보여주었습니다.
• RCG 접근 방식은 환상적 생성을 효과적으로 완화했습니다. ROG는 Kioxia의 이미지 분류 작업에 대해 환상적인 응답을 생성했지만, RCG는 이를 고용량 스토리지 개발으로 정확히 기재했습니다.
• 13B 파라미터 LLM이 파인튜닝 없이도 새로운 사실 지식에 대해 강력한 성능을 보였으며, 이는 개인정보 보호가 중요한 환경에서의 실질적 구현 가능성을 시사합니다.