[论文解读] Cerise: Program Verification on a Capability Machine in the Presence of Untrusted Code

Logé, Frédéric, Le Pennec, Erwann+1 more|arXiv (Cornell University)|May 12, 2021

Polynomial and algebraic computation被引用 196

一句话总结

本教程全面概述了提升大型语言模型（LLMs）在数据库集成中可信度与效率的方法，重点通过检索增强生成、自我反思和思维链推理减少幻觉，同时通过数据库启发的技术（如连续批处理、KV缓存管理及硬件感知调度）提升推理效率。核心贡献是一个统一框架，连接LLMs与数据库，以实现可扩展、可靠且高性能的AI驱动数据管理系统。

ABSTRACT

In the rapidly evolving AI era with large language models (LLMs) at the core, making LLMs more trustworthy and efficient, especially in output generation (inference), has gained significant attention. This is to reduce plausible but faulty LLM outputs (a.k.a hallucinations) and meet the highly increased inference demands. This tutorial explores such efforts and makes them transparent to the database community. Understanding these efforts is essential in harnessing LLMs in database tasks and adapting database techniques to LLMs. Furthermore, we delve into the synergy between LLMs and databases, highlighting new opportunities and challenges in their intersection. This tutorial aims to share with database researchers and practitioners essential concepts and strategies around LLMs, reduce the unfamiliarity of LLMs, and inspire joining in the intersection between LLMs and databases.

研究动机与目标

• 为解决LLMs在数据库任务中产生幻觉的关键挑战，引入检索增强生成和思维链提示等技术。
• 通过应用数据库系统原理（如连续批处理、KV缓存管理及自适应调度）提升LLM推理效率。
• 通过语义算子、基于成本的调度及混合关系型-LLM查询处理，实现LLMs与数据库工作负载的无缝集成。
• 通过突出数据库与LLMs交叉领域的协同效应和开放研究机会，激励数据库研究人员为高效且可信的LLM系统做出贡献。

提出的方法

• 利用检索增强生成（RAG）将LLM输出锚定在外部知识源，减少幻觉。
• 采用思维链和多路径推理，提升复杂推理任务中的准确性并减少错误。
• 应用数据库启发的优化技术（如连续批处理和预填充-解码解耦）提升LLM推理吞吐量。
• 使用键值（KV）缓存分页和卸载技术，管理内存压力，实现高效长上下文生成。
• 引入自适应调度与前缀KV共享，优化并发LLM请求中的资源利用率。
• 适配数据库成本模型与混合工作负载优化，平衡LLM-数据库系统中的准确性与效率。

实验结果

研究问题

• RQ1 如何在生成数据库查询答案时最小化LLMs中的幻觉？
• RQ2 哪些数据库系统技术可被适配以提升LLM推理的效率与可扩展性？
• RQ3 如何将LLMs集成到数据库系统中，以支持混合关系型-LLM工作负载？
• RQ4 LLM服务中的关键性能瓶颈是什么，如何利用数据库原理加以缓解？
• RQ5 如何将基于成本和自适应的查询优化扩展至基于LLM的数据库系统？

主要发现

• 检索增强生成通过将LLM输出锚定在外部知识源，显著减少幻觉，提升事实一致性。
• 思维链与多路径推理技术可提升推理准确性，尤其在复杂、多跳问答任务中表现更优。
• 连续批处理与预填充-解码解耦可提升LLM服务系统的吞吐量并降低延迟。
• KV缓存卸载与压缩技术可高效处理长上下文及高并发LLM工作负载。
• 结合前缀KV共享的自适应调度可提升资源利用率并减少LLM推理流水线中的空闲时间。
• 基于成本的LLM调度模型可有效平衡准确性与效率，支持具有多样化需求的混合工作负载。