[論文レビュー] Agentic Retrieval-Augmented Generation for Time Series Analysis

Chidaksh Ravuru, Sagar Srinivas Sakhinana+1 more|arXiv (Cornell University)|Aug 18, 2024

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

本論文は、時系列解析のためのエージェント指向のリtrieval-Augmented Generation (RAG)フレームワークを提案する。このフレームワークは、予測、異常検出、分類の向上を目的とした階層的マルチエージェントアーキテクチャを採用している。特化したサブエージェントに微調整を施した小規模言語モデル（SLMs）と、蒸留された歴史的パターンを含む共有プロンプトプールを活用することで、複数のベンチマークで最先端の性能を達成し、タスク特化型モデルやアブレーションバージョンを上回っている。

ABSTRACT

Time series modeling is crucial for many applications, however, it faces challenges such as complex spatio-temporal dependencies and distribution shifts in learning from historical context to predict task-specific outcomes. To address these challenges, we propose a novel approach using an agentic Retrieval-Augmented Generation (RAG) framework for time series analysis. The framework leverages a hierarchical, multi-agent architecture where the master agent orchestrates specialized sub-agents and delegates the end-user request to the relevant sub-agent. The sub-agents utilize smaller, pre-trained language models (SLMs) customized for specific time series tasks through fine-tuning using instruction tuning and direct preference optimization, and retrieve relevant prompts from a shared repository of prompt pools containing distilled knowledge about historical patterns and trends to improve predictions on new data. Our proposed modular, multi-agent RAG approach offers flexibility and achieves state-of-the-art performance across major time series tasks by tackling complex challenges more effectively than task-specific customized methods across benchmark datasets.

研究の動機と目的

• 長期間の依存関係や複雑なトレンドを捉えられない固定ウィンドウ型時系列モデルの限界を解消すること。
• テキストで訓練された小規模言語モデル（SLMs）に内在する時系列パターン認識能力の欠如を克服すること。
• リtrieval-Augmented Generation（RAG）を統合することで、外部知識を統合し、時系列タスクにおける汎化性と推論能力を向上させること。
• タスク特化型モデルを上回る性能を発揮するモジュラーで柔軟なフレームワークを構築すること。
• 指示微調整、直接的好み最適化（DPO）、および蒸留されたプロンプトプールからの検索を通じて、SLMsを時系列タスクに効果的に適応させること。

提案手法

• タスクタイプに応じてユーザーの要求をルーティングするマスターエージェントを備えた階層的でマルチエージェントアーキテクチャを採用する。
• Llama 3-8Bなどの微調整済み小規模言語モデル（SLMs）を用い、特定の時系列タスク向けに指示微調整と直接的好み最適化（DPO）により最適化する。
• 歴史的時系列パターンとトレンドの知識を蒸留した、タスクに依存しない共有プロンプトプールを実装する。
• 反復的な検索と精錬サイクルを通じてエージェント的推論を実現し、サブエージェントが動的に関連する歴史的パターンにアクセスできるようにする。
• 時系列モデリングにリtrieval-Augmented Generation（RAG）の原則を統合し、知識ベースである蒸留されたパターンのプールからタスク固有のプロンプトを検索する。
• 自己拡張技術を適用して推論と汎化能力を強化し、推論時に複数の関連するプロンプトテンプレートを検索して統合する。

実験結果

リサーチクエスチョン

• RQ1 タスク特化型モデルと比較して、モジュラーでエージェント指向のRAGフレームワークは、多様な時系列タスクにおいて性能を向上させることができるか？
• RQ2 共有プロンプトプールから蒸留された歴史的パターンを検索することで、時系列予測と異常検出における予測精度にどのような影響を与えるか？
• RQ3 DPO、SAS（自己注意スケーリング）、および指示微調整といったコンポーネントが、フレームワークの性能にどの程度寄与しているか？
• RQ4 エージェント的でマルチステップの推論能力により、時系列データにおける分布シフトや長距離依存性の問題が緩和されるか？
• RQ5 リtrievalとエージェント指向のオ케ストレーションによって拡張された小規模言語モデル（SLMs）は、時系列解析で最先端の結果を達成できるか？

主な発見

• Llama 3-8Bを搭載したSelfExtend-Agentic-RAGフレームワークは、METR-LA分類ベンチマークで95.82％の正確度、95.02％の適合率、95.24％の再現率を達成し、DPOを含まないベースライン（88.67％の正確度）を著しく上回った。
• PEMS-BAYデータセットでは、分類タスクで96.01％の正確度、95.01％の適合率、95.53％の再現率を達成し、DPOを含まないベースライン（91.01％の正確度）を上回った。
• 異常検出においては、SWaTで99.47％の適合率、98.15％の再現率、92.59％のF1スコアを達成した。DPOを含まないベースラインは、95.49％の適合率と87.04％のF1スコアであった。
• 12シーケンスから12シーケンスへの予測において、METR-LAの予測ホライズン3では、RMSEが4.03、MAEが2.02、MAPEが5.05を達成し、DPOを含まないベースライン（RMSE：4.19、MAE：2.12、MAPE：5.36）を上回った。
• アブレーションスタディの結果、DPO、SAS、IT（指示微調整）、およびプロンプト検索のすべてのコンポーネントが性能に顕著な寄与をしていることが確認され、全フレームワークは、すべてのタスクとデータセットでアブレーションバージョンを一貫して上回った。
• フレームワークは、予測、異常検出、分類を含む多様な時系列タスクにおいて、分布シフトに対する優れたロバスト性と汎化能力を示し、タスク特化型のアーキテクチャの再設計なしに優れた性能を発揮した。