[논문 리뷰] Agentic Retrieval-Augmented Generation for Time Series Analysis

Chidaksh Ravuru, Sagar Srinivas Sakhinana외 1명|arXiv (Cornell University)|2024. 08. 18.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

이 논문은 시간 시리즈 분석을 위한 에이전트 기반 Retrieval-Augmented Generation (RAG) 프레임워크를 제안한다. 이 프레임워크는 예측, 이상 탐지, 분류 성능을 향상시키기 위해 계층적 다중에이전트 아키텍처를 사용한다. 특화된 서브에이전트와 미세조정된 소형 언어모델(SLM)을 활용하고, 정제된 역학적 패턴을 담은 공통 프롬프트 풀을 통해, 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하며, 작업에 특화된 모델과 아웃패러닝된 변형보다 뛰어난 성능을 보인다.

ABSTRACT

Time series modeling is crucial for many applications, however, it faces challenges such as complex spatio-temporal dependencies and distribution shifts in learning from historical context to predict task-specific outcomes. To address these challenges, we propose a novel approach using an agentic Retrieval-Augmented Generation (RAG) framework for time series analysis. The framework leverages a hierarchical, multi-agent architecture where the master agent orchestrates specialized sub-agents and delegates the end-user request to the relevant sub-agent. The sub-agents utilize smaller, pre-trained language models (SLMs) customized for specific time series tasks through fine-tuning using instruction tuning and direct preference optimization, and retrieve relevant prompts from a shared repository of prompt pools containing distilled knowledge about historical patterns and trends to improve predictions on new data. Our proposed modular, multi-agent RAG approach offers flexibility and achieves state-of-the-art performance across major time series tasks by tackling complex challenges more effectively than task-specific customized methods across benchmark datasets.

연구 동기 및 목표

• 장기적 의존성과 복잡한 추세를 포착하지 못하는 고정 윈도우 기반 시간 시리즈 모델의 한계를 해결한다.
• 텍스트 데이터로 훈련된 소형 언어모델(SLM)이 시간 시리즈 패턴 인식 능력을 갖추지 못하는 문제를 해결한다.
• 검색 기반 생성을 통해 외부 지식을 통합하여 시간 시리즈 작업의 일반화 및 추론 능력을 향상시킨다.
• 다양한 시간 시리즈 응용 분야에서 작업에 특화된 모델을 능가하는 모듈러하고 유연한 프레임워크를 개발한다.
• 지시 미세조정, 직접 선호도 최적화(DPO), 그리고 정제된 프롬프트 풀에서의 검색을 통해 SLM이 시간 시리즈 작업에 효과적으로 적응하도록 한다.

제안 방법

• 사용자 요청을 작업 유형에 따라 전문 서브에이전트로 라우팅하는 마스터 에이전트를 포함한 계층적 다중에이전트 아키텍처를 사용한다.
• Llama 3-8B와 같은 미세조정된 소형 언어모델(SLM)을 사용하며, 지시 미세조정과 직접 선호도 최적화(DPO)를 통해 특정 시간 시리즈 작업에 최적화한다.
• 역사적 시간 시리즈 패턴과 추세의 정제된 지식을 담은 공통의 작업에 관계없는 프롬프트 풀을 구현한다.
• 반복적인 검색 및 개선 사이클을 통해 에이전트 추론을 가능하게 하여 서브에이전트가 동적으로 관련된 역학적 패턴에 접근할 수 있도록 한다.
• 시간 시리즈 모델링에 검색 기반 생성(RAG) 원리를 통합하여, 지식 기반에서 작업에 특화된 프롬프트를 검색한다.
• 자기 확장 기법을 적용하여 추론과 일반화 능력을 향상시키며, 추론 중에 여러 관련 프롬프트 템플릿을 검색하고 결합한다.

실험 결과

연구 질문

• RQ1 작업에 특화된 모델과 비교해 볼 때, 모듈러하고 에이전트 기반의 RAG 프레임워크가 다양한 시간 시리즈 작업에서 성능 향상을 이끌 수 있는가?
• RQ2 공통 프롬프트 풀에서 정제된 역학적 패턴을 검색함으로써 시간 시리즈 예측 및 이상 탐지 정확도에 어떤 영향을 미치는가?
• RQ3 DPO, SAS(자기주의 어텐션 스케일링), 지시 미세조정 등의 구성 요소가 프레임워크 성능에 기여하는 정도는 어느 정도인가?
• RQ4 에이전트 기반의 다단계 추론 능력이 시간 시리즈 데이터의 분포 이동 및 장기적 의존성 문제를 완화하는 데 기여하는가?
• RQ5 검색 및 에이전트 기반 오케스트레이션을 통한 보완을 받는 소형 언어모델(SLM)이 시간 시리즈 분석에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• Llama 3-8B를 사용한 SelfExtend-Agentic-RAG 프레임워크는 METR-LA 분류 벤치마크에서 95.82% 정확도, 95.02% 정밀도, 95.24% 재현율을 기록하여 DPO 없이 사용한 베이스라인(88.67% 정확도)을 크게 능가했다.
• PEMS-BAY 데이터셋에서 프레임워크는 분류 작업에서 96.01% 정확도, 95.01% 정밀도, 95.53% 재현율을 달성했으며, DPO 없이 사용한 베이스라인(91.01% 정확도)을 초월했다.
• 이상 탐지 작업에서 프레임워크는 SWaT에서 정밀도 99.47%, 재현율 98.15%, F1 점수 92.59%를 기록했으며, DPO 없이 사용한 베이스라인(정밀도 95.49%, F1 점수 87.04%)보다 뛰어났다.
• 12-시퀀스에서 12-시퀀스 예측 작업에서 프레임워크는 METR-LA에서 예측 수준 3에서 RMSE 4.03, MAE 2.02, MAPE 5.05를 기록했으며, DPO 없이 사용한 베이스라인(RMSE: 4.19, MAE: 2.12, MAPE: 5.36)을 능가했다.
• 제거 실험을 통해 DPO, SAS, IT(지시 미세조정), 프롬프트 검색 등 모든 구성 요소가 성능 향상에 기여하는 것으로 확인되었으며, 전체 프레임워크는 모든 작업 및 데이터셋에서 제거된 변형보다 일관되게 뛰어난 성능을 보였다.
• 프레임워크는 작업에 특화된 아키텍처 재설계 없이도 다양한 시간 시리즈 작업—예측, 이상 탐지, 분류—에 대해 분포 이동에 대한 강건성과 일반화 능력이 뛰어나다는 점을 입증했다.