[論文レビュー] Position: What Can Large Language Models Tell Us about Time Series Analysis

Ming Jin, Yifan Zhang+7 more|arXiv (Cornell University)|Feb 5, 2024

Advanced Text Analysis Techniques被引用数 6

ひとこと要約

このポジションペーパーは、 大規模言語モデル（LLMs）が時系列分析の中心的ハブとなり、データ/モデルの強化、予測、エージェントとして機能し得ると論じ、統合戦略と研究方向を概説する。

ABSTRACT

Time series analysis is essential for comprehending the complexities inherent in various realworld systems and applications. Although large language models (LLMs) have recently made significant strides, the development of artificial general intelligence (AGI) equipped with time series analysis capabilities remains in its nascent phase. Most existing time series models heavily rely on domain knowledge and extensive model tuning, predominantly focusing on prediction tasks. In this paper, we argue that current LLMs have the potential to revolutionize time series analysis, thereby promoting efficient decision-making and advancing towards a more universal form of time series analytical intelligence. Such advancement could unlock a wide range of possibilities, including time series modality switching and question answering. We encourage researchers and practitioners to recognize the potential of LLMs in advancing time series analysis and emphasize the need for trust in these related efforts. Furthermore, we detail the seamless integration of time series analysis with existing LLM technologies and outline promising avenues for future research.

研究の動機と目的

• LLMsの潜在能力を説明し、時系列分析を革命的に変え、普遍的なインテリジェントシステムを促進する。
• 既存の研究を体系的にレビューし、LLMsと時系列分析の統合形態を分類する。
• LLM中心の時系列研究の将来の機会、課題、研究方向を提案する。

提案手法

• データベースの強化子、モデルベースの強化子、LLM中心の予測子へ、時系列タスクとLLM統合を分類する。
• パッチング、トークナイゼーション、 prompting を通じた適応のためのチューニングベースおよび非チューニングベースのアプローチを説明する。
• 一般的な時系列分析のためのエージェントとしてのLLMの使用を議論し、ゼロショット実験からの実証的知見を報告する。

Figure 1: Across a myriad of time series analytical domains, the integration of time series and LLMs demonstrates potential in solving complex real-world problems.

実験結果

リサーチクエスチョン

• RQ1 LLMsは時系列分析の効果的な強化子、予測子、エージェントとして機能できるか？
• RQ2 LLMsを時系列モデルと組み合わせる主な統合形態と手段は何か？
• RQ3 LLM中心の時系列分析を信頼性が高くスケーラブルにする際にどのような課題と機会が生じるか？

主な発見

• LLMsは外部知識と推論を用いて時系列データとモデルを拡張する可能性がある。
• LLMsは時系列タスクのゼロショットまたは few-shot の予測子として機能でき、特定の設定ではドメイン専用モデルよりも優れることがある。
• チューニングベースのLLM予測子は適応性を提供するが、壊滅的忘却のリスクと高い訓練コストが伴い、非チューニングアプローチはプロンプト設計に依存し、安定性の懸念がある。
• LLMsは時系列のエージェントとして機能できるが、幻覚と分布理解は依然として主要な制約であり、ドメイン知識の統合と堅牢な prompting が必要。

Figure 2: A roadmap of time series analysis delineating four generations of models based on their task-solving capabilities.