[論文レビュー] Large Language Models for Time Series: A Survey

Xiyuan Zhang, Ranak Roy Chowdhury+2 more|arXiv (Cornell University)|Feb 2, 2024

Topic Modeling被引用数 9

ひとこと要約

時系列分析に対して大規模言語モデル（LLMs）を適用する方法を分類する総合的な調査で、 prompting、quantization、alignment、vision-bridge、tool integration のアプローチ、データセット、課題、今後の方向性を詳述する。

ABSTRACT

Large Language Models (LLMs) have seen significant use in domains such as natural language processing and computer vision. Going beyond text, image and graphics, LLMs present a significant potential for analysis of time series data, benefiting domains such as climate, IoT, healthcare, traffic, audio and finance. This survey paper provides an in-depth exploration and a detailed taxonomy of the various methodologies employed to harness the power of LLMs for time series analysis. We address the inherent challenge of bridging the gap between LLMs' original text data training and the numerical nature of time series data, and explore strategies for transferring and distilling knowledge from LLMs to numerical time series analysis. We detail various methodologies, including (1) direct prompting of LLMs, (2) time series quantization, (3) aligning techniques, (4) utilization of the vision modality as a bridging mechanism, and (5) the combination of LLMs with tools. Additionally, this survey offers a comprehensive overview of the existing multimodal time series and text datasets and delves into the challenges and future opportunities of this emerging field. We maintain an up-to-date Github repository which includes all the papers and datasets discussed in the survey.

研究の動機と目的

• テキストで訓練されたLLMsと数値的な時系列データとのモダリティ間のギャップを橋渡しする研究の促進。
• 時系列分析のためのLLMベースの5つの方法論の分類を提供する（prompting、quantization、alignment、vision as bridge、tool integration）。
• 気候、IoT、医療、交通、金融などの分野に跨る代表的なモデル、定式化、およびデータセットを調査する。
• LLM対応の時系列研究を推進するための課題と今後の方向性を特定する。

提案手法

• 時系列をテキストまたはプロンプトとして扱い、LLMsを直接プロンプティングする。
• LLM処理のために数値系列を離散トークンに変換する時系列量子化（VQ-VAE、K-Means）。
• 時系列埋め込みを言語空間へ対応づけるアライメント技術（コントラスト損失、バックボーン）やエンドツーエンドのLLMバックボーン。
• 視覚表現とマルチモーダルモデルを用いて時系列とLLMsを結ぶ橋渡しとしてのビジョン。
• 時間系列タスクを支援するコードやAPI呼び出しなどの補助ツールをLLMsが生成するツール統合。

Figure 1: Large language models have recently been applied for various time series tasks in diverse application domains.

実験結果

リサーチクエスチョン

• RQ1 テキストで訓練されたLLMsを数値的な時系列分析に効果的に活用するにはどうすればよいか？
• RQ2 時系列データと言語モデルのモダリティのギャップを埋める最も効果的な分類法と手法は何か？
• RQ3 分野を横断して堅牢なLLMベースの時系列分析を可能にするデータセットとマルチモーダル構成は何か？
• RQ4 データ効率とタスクに関して、prompting、quantization、alignment、vision-bridge、ツールベースのアプローチのトレードオフは何か？
• RQ5 マルチモーダルおよびマルチタスクのLLM対応時系列研究の主要な課題と今後の方向性は何か？

主な発見

• 5カテゴリの分類法が提案されている：Prompting、Time Series Quantization、Alignment、Vision as Bridge、Tool Integration。
• 量子化とアライメント手法は、 prompting のみよりも長い系列や多変量時系列に対してよりスケーラブルである。
• ビジョンベースの橋渡しにより、視覚と言語モデルを活用して時系列をテキスト表現および視覚表現と結びつけることが可能になる。
• ツール統合により、LLMsはコードやAPI呼び出しを出力して時系列タスクを支援でき、完全なエンドツーエンドのファインチューニングを必要としない。
• IoT、金融、医療、音声などを含むマルチモーダル時系列とテキストデータセットのキュレーションされたコレクションが分類法に付随して提供される。

Figure 2: Left: Taxonomy of LLMs for time series analysis (prompting, quantization, alignment which is further categorized into two groups as detailed in Figure 4 , vision as bridge, tool integration). For each category, key distinctions are drawn in comparison to the standard LLM pipeline shown at