[论文解读] Agentic Retrieval-Augmented Generation for Time Series Analysis

Chidaksh Ravuru, Sagar Srinivas Sakhinana+1 more|arXiv (Cornell University)|Aug 18, 2024

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出了一种用于时间序列分析的代理式检索增强生成（RAG）框架，采用分层多智能体架构以提升预测、异常检测和分类性能。通过利用微调的小型语言模型（SLMs）作为专用子智能体，并结合从历史模式中提炼出的共享提示池，该框架在多个基准测试中实现了最先进性能，优于特定任务的模型及消融变体。

ABSTRACT

Time series modeling is crucial for many applications, however, it faces challenges such as complex spatio-temporal dependencies and distribution shifts in learning from historical context to predict task-specific outcomes. To address these challenges, we propose a novel approach using an agentic Retrieval-Augmented Generation (RAG) framework for time series analysis. The framework leverages a hierarchical, multi-agent architecture where the master agent orchestrates specialized sub-agents and delegates the end-user request to the relevant sub-agent. The sub-agents utilize smaller, pre-trained language models (SLMs) customized for specific time series tasks through fine-tuning using instruction tuning and direct preference optimization, and retrieve relevant prompts from a shared repository of prompt pools containing distilled knowledge about historical patterns and trends to improve predictions on new data. Our proposed modular, multi-agent RAG approach offers flexibility and achieves state-of-the-art performance across major time series tasks by tackling complex challenges more effectively than task-specific customized methods across benchmark datasets.

研究动机与目标

• 解决固定窗口时间序列模型无法捕捉长程依赖关系与复杂趋势的局限性。
• 克服在文本上预训练的小型语言模型（SLMs）缺乏内在时间序列模式识别能力的问题。
• 通过检索增强生成整合外部知识，提升时间序列任务中的泛化能力与推理能力。
• 开发一种模块化、灵活的框架，使其在多样化的时间序列应用中优于特定任务的模型。
• 通过指令微调、直接偏好优化（DPO）以及从提炼的提示池中检索，实现SLMs在时间序列任务中的有效适应。

提出的方法

• 采用分层多智能体架构，由主智能体根据任务类型将用户请求路由至专用子智能体。
• 使用微调的小型语言模型（SLMs），如Llama 3-8B，通过指令微调与直接偏好优化（DPO）进行优化，以适应特定时间序列任务。
• 实现一个共享的、与任务无关的提示池，其中包含从历史时间序列模式与趋势中提炼的知识，用于检索。
• 通过迭代式检索与优化循环实现代理式推理，使子智能体能够动态访问相关的历史模式。
• 通过从提炼的模式知识库中检索特定任务提示，将检索增强生成（RAG）原则整合到时间序列建模中。
• 应用自我扩展技术，通过在推理过程中检索并组合多个相关提示模板，增强推理与泛化能力。

实验结果

研究问题

• RQ1 与特定任务模型相比，模块化、代理式RAG框架是否能在多样化时间序列任务中提升性能？
• RQ2 从共享提示池中检索提炼的历史模式对时间序列预测与异常检测的预测准确性有何影响？
• RQ3 DPO、SAS（自注意力缩放）与指令微调等组件在框架性能中的贡献程度如何？
• RQ4 该框架的代理式多步推理能力是否能缓解时间序列数据中的分布偏移与长程依赖问题？
• RQ5 当通过检索与代理式编排增强后，小型语言模型（SLMs）是否能在时间序列分析中实现最先进性能？

主要发现

• 采用Llama 3-8B的SelfExtend-Agentic-RAG框架在METR-LA分类基准上达到95.82%准确率、95.02%精确率与95.24%召回率，显著优于无DPO基线模型（88.67%准确率）。
• 在PEMS-BAY数据集上，该框架在分类任务中达到96.01%准确率、95.01%精确率与95.53%召回率，超过无DPO基线模型（91.01%准确率）。
• 在异常检测任务中，该框架在SWaT数据集上实现99.47%精确率、98.15%召回率与92.59% F1分数，优于无DPO基线模型（95.49%精确率与87.04% F1分数）。
• 在12序列到12序列的预测任务中，该框架在METR-LA数据集、预测时域为3时，RMSE为4.03，MAE为2.02，MAPE为5.05，优于无DPO基线模型（RMSE: 4.19，MAE: 2.12，MAPE: 5.36）。
• 消融研究证实，所有组件——DPO、SAS、IT（指令微调）与提示检索——均显著提升性能，完整框架在所有任务与数据集上持续优于消融变体。
• 该框架在分布偏移下表现出更强鲁棒性，并在无需特定任务架构重构的前提下，显著提升了在多样化时间序列任务（包括预测、异常检测与分类）中的泛化能力。