[논문 리뷰] Cerise: Program Verification on a Capability Machine in the Presence of Untrusted Code

Logé, Frédéric, Le Pennec, Erwann외 1명|arXiv (Cornell University)|2021. 05. 12.

Polynomial and algebraic computation인용 수 196

한 줄 요약

이 튜토리얼은 데이터베이스 통합을 위한 대규모 언어 모델(Large Language Models, LLMs)의 신뢰성과 효율성을 향상시키는 종합적인 개요를 제시한다. 특히 검색 증강 생성(Retrieval-Augmented Generation), 자기 반성(Self-reflection), 체인 오브 토우크(Chain-of-Thought) 추론를 통해 환각 현상을 줄이고, 연속 배치(Continuous Batching), KV 캐시 관리, 하드웨어 인식 스케줄링과 같은 데이터베이스 기반 기법을 통해 추론 효율성을 향상시킨다. 주요 기여는 LLM과 데이터베이스를 통합하는 유일한 프레임워크를 제공하여 확장 가능하고 신뢰성 있고 고성능인 AI 기반 데이터 관리 시스템을 가능하게 한다.

ABSTRACT

In the rapidly evolving AI era with large language models (LLMs) at the core, making LLMs more trustworthy and efficient, especially in output generation (inference), has gained significant attention. This is to reduce plausible but faulty LLM outputs (a.k.a hallucinations) and meet the highly increased inference demands. This tutorial explores such efforts and makes them transparent to the database community. Understanding these efforts is essential in harnessing LLMs in database tasks and adapting database techniques to LLMs. Furthermore, we delve into the synergy between LLMs and databases, highlighting new opportunities and challenges in their intersection. This tutorial aims to share with database researchers and practitioners essential concepts and strategies around LLMs, reduce the unfamiliarity of LLMs, and inspire joining in the intersection between LLMs and databases.

연구 동기 및 목표

• 데이터베이스 작업 중 LLM에서 발생하는 환각 현상의 심각한 문제를 해결하기 위해 검색 증강 생성 및 체인 오브 토우크 프롬프팅과 같은 기법을 도입한다.
• 연속 배치, KV 캐시 관리, 적응형 스케줄링와 같은 데이터베이스 시스템 원칙을 적용하여 LLM 추론 효율성을 향상시킨다.
• 세분화된 연산자, 비용 기반 스케줄링, 혼합 관계형-LLM 쿼리 처리를 통해 LLM을 데이터베이스 워크로드에 원활하게 통합할 수 있도록 한다.
• 데이터베이스와 LLM의 융합 지점에서의 상호 보완성과 열린 연구 기회를 부각시켜 데이터베이스 연구자들이 효율적이고 신뢰할 수 있는 LLM 시스템 개발에 기여할 수 있도록 유도한다.

제안 방법

• 외부 지식 소스에 기반한 LLM 출력을 고정시켜 환각 현상을 줄이기 위해 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 활용한다.
• 복잡한 추론 작업에서 정확도를 향상시키고 오류를 줄이기 위해 체인 오브 토우크 및 다중 경로 추론을 적용한다.
• 지속적 배치 및 프리필-디코딩 분리와 같은 데이터베이스 기반 최적화 기법을 적용하여 LLM 추론 처리량을 향상시킨다.
• 메모리 압박을 관리하고 장기적 컨텍스트 생성을 효율적으로 수행하기 위해 키-값(KV) 캐시 페이지링 및 오프로딩을 사용한다.
• 동시 다수의 LLM 요청 간 자원 활용도를 최적화하기 위해 적응형 스케줄링과 프리픽스 KV 공유를 도입한다.
• LLM-데이터베이스 시스템에서 정확도와 효율성의 균형을 맞추기 위해 데이터베이스 비용 모델 및 혼합 워크로드 최적화를 적응적으로 적용한다.

실험 결과

연구 질문

• RQ1 데이터베이스 쿼리에 대한 답변을 생성할 때 LLM의 환각 현상을 어떻게 최소화할 수 있는가?
• RQ2 LLM 추론의 효율성과 확장성을 향상시키기 위해 어떤 데이터베이스 시스템 기법을 적응적으로 활용할 수 있는가?
• RQ3 LLM을 데이터베이스 시스템에 통합하여 혼합 관계형-LLM 워크로드를 지원할 수 있는 방법은 무엇인가?
• RQ4 LLM 서빙에서의 주요 성능 저하 요인은 무엇이며, 이를 데이터베이스 원칙을 활용해 어떻게 완화할 수 있는가?
• RQ5 비용 기반 및 적응형 쿼리 최적화는 LLM 기반 데이터베이스 시스템으로 어떻게 확장될 수 있는가?

주요 결과

• 검색 증강 생성은 외부 지식에 기반한 LLM 출력을 통해 사실 일관성을 향상시켜 환각 현상을 크게 줄인다.
• 체인 오브 토우크 및 다중 경로 추론 기법은 특히 다단계 질문 응답과 같은 복잡한 추론 작업에서 정확도를 향상시킨다.
• 연속 배치 및 프리필-디코딩 분리 기법은 LLM 서빙 시스템의 처리량을 증가시키고 지연 시간을 감소시킨다.
• KV 캐시 오프로딩 및 압축 기법은 장기 컨텍스트 및 고병렬성 LLM 워크로드를 효율적으로 처리할 수 있도록 한다.
• 프리픽스 KV 공유 기반의 적응형 스케줄링은 자원 활용도를 향상시키고 LLM 추론 파이프라인의 유휴 시간을 줄인다.
• LLM에 대한 비용 기반 스케줄링 모델은 정확도와 효율성의 균형을 효과적으로 맞출 수 있으며, 다양한 요구사항을 가진 혼합 워크로드를 지원할 수 있다.