[논문 리뷰] PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting

Hao Xue, Flora D. Salim|arXiv (Cornell University)|2022. 09. 20.

Stock Market Forecasting Methods인용 수 11

한 줄 요약

이 논문은 시간 시계열 예측을 자연어 생성 작업으로 재정의하는 새로운 프롬프트 기반 학습 프레임워크인 PromptCast을 소개한다. 이는 수치 시계열을 사전에 정의된 프롬프트 템플릿을 통해 자연어로 변환함으로써 사전 훈련된 언어 모델에 입력하는 방식으로, 강력한 제로샷 일반화 성능을 달성하며 기존의 수치 기반 방법들을 능가한다. 이는 새로운 대규모 데이터셋(PISA)과 다양한 예측 시나리오에 대한 벤치마크를 통해 검증되었다.

ABSTRACT

This paper presents a new perspective on time series forecasting. In existing time series forecasting methods, the models take a sequence of numerical values as input and yield numerical values as output. The existing SOTA models are largely based on the Transformer architecture, modified with multiple encoding mechanisms to incorporate the context and semantics around the historical data. Inspired by the successes of pre-trained language foundation models, we pose a question about whether these models can also be adapted to solve time-series forecasting. Thus, we propose a new forecasting paradigm: prompt-based time series forecasting (PromptCast). In this novel task, the numerical input and output are transformed into prompts and the forecasting task is framed in a sentence-to-sentence manner, making it possible to directly apply language models for forecasting purposes. To support and facilitate the research of this task, we also present a large-scale dataset (PISA) that includes three real-world forecasting scenarios. We evaluate different SOTA numerical-based forecasting methods and language generation models. The benchmark results with various forecasting settings demonstrate the proposed PromptCast with language generation models is a promising research direction. Additionally, in comparison to conventional numerical-based forecasting, PromptCast shows a much better generalization ability under the zero-shot setting.

연구 동기 및 목표

• 대규모 사전 훈련된 언어 기반 모델이 아키텍처 수정 없이 시간 시계열 예측에 적응할 수 있는지 탐구하기.
• 기존 방법들이 수치 입력/출력에만 의존하고 복잡한 모델 설계를 필요로 하는 점을 보완하기.
• 예측을 문장 간 생성 작업으로 간주하는 새로운 프레임워크—PromptCast을 제안하기.
• 실제 기상, 에너지, 고객 유입 예측을 포함하는 대규모 실세계 데이터셋(PISA)을 공개하여 프롬프트 기반 시간 시계열 작업을 위한 기반 마련하기.
• 제로샷 및 다단계 예측과 같은 다양한 설정에서 수치 예측 모델과 언어 생성 모델을 함께 평가하는 벤치마크 구축하기.

제안 방법

• 고정된 템플릿을 사용해 수치 시계열을 자연어 프롬프트로 변환하여 시계열을 서술적 문장으로 변환하기.
• 시간 시계열 예측을 텍스트 생성 작업으로 재정의하여, 입력은 맥락 프롬프트이고 출력은 자연어로 표현된 미래 예측 값이 되도록 하기.
• 피팅 트레이닝 없이 사전 훈련된 언어 모델(LaMA, OPT 등)을 활용해 제로샷 예측을 가능하게 하기.
• 역사적 값, 시간적 맥락(예: 날짜, 요일), 보조 정보(예: 위치, 기상 조건)를 포함한 프롬프트 템플릿 설계하기.
• 기온, 에너지 소비, 고객 유입의 세 가지 실세계 예측 시나리오를 포함해 총 311,932개의 인스턴스를 포함한 PISA 데이터셋 구축하기.
• 학습부터 시작, 제로샷, 다단계, 多변량 예측 설정 등 다양한 설정에서 성능을 평가할 수 있는 벤치마크 프레임워크 개발하기.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 수치 시계열의 자연어 서술을 프롬프트로 제공받을 경우 시간 시계열 예측을 효과적으로 수행할 수 있는가?
• RQ2 제로샷 설정에서 프롬프트 기반 예측의 일반화 성능이 기존 수치 기반 예측 모델보다 어떻게 비교되는가?
• RQ3 언어 모델이 프롬프트 기반 입력을 통해 시간적 패턴과 수치적 의미를 어느 정도 정확히 포착할 수 있는가?
• RQ4 통합된 프롬프트 기반 프레임워크가 태스크별 모델 재설계 없이 다양한 시간 시계열 예측 시나리오를 지원할 수 있는가?
• RQ5 템플릿 기반 프롬프팅의 시간 시계열 예측에서의 한계점과 향후 개선 가능성이 무엇인가?

주요 결과

• 언어 생성 모델을 활용한 PromptCast는 강력한 예측 성능을 보이며, 사전 훈련된 언어 모델이 시간 시계열 작업에 활용될 수 있음을 입증한다.
• 제안된 프레임워크는 기존의 수치 기반 예측 모델 대비 상당히 뛰어난 제로샷 일반화 능력을 보여준다.
• 사례 연구를 통해 언어 모델의 어텐션 메커니즘이 예측 과정에서 수치 값 토큰과 보조 맥락 토큰 양쪽 모두에 효과적으로 주목하고 있음을 확인했다.
• 벤치마크 결과는 언어 모델이 단변량 및 다변량 설정을 포함한 다양한 시간 시계열 시나리오에 일반화할 수 있음을 검증한다.
• PISA 데이터셋은 실제 예측 작업 간 일관된 평가를 가능하게 하며, 향후 프롬프트 기반 시간 시계열 예측 연구를 지원한다.
• 이 방법은 챗봇 예측 및 시간 시계열 질의 응답 시스템과 같은 새로운 애플리케이션 가능성을 열어준다.