[論文レビュー] MM-ISTS: Cooperating Irregularly Sampled Time Series Forecasting with Multimodal Vision-Text LLMs

Zhi Lei, Chenxi Liu+4 more|arXiv (Cornell University)|Mar 6, 2026

Time Series Analysis and Forecasting被引用数 0

ひとこと要約

MM-ISTS は、視覚-文本の大規模言語モデルを用いて不規則サンプリング時系列を拡張するマルチモーダル予測フレームワークであり、クロスモーダルエンコーディング、適応クエリ、モダリティ認識型フュージョンを特徴とし ISTS 予測の精度を向上させる。

ABSTRACT

Irregularly sampled time series (ISTS) are widespread in real-world scenarios, exhibiting asynchronous observations on uneven time intervals across variables. Existing ISTS forecasting methods often solely utilize historical observations to predict future ones while falling short in learning contextual semantics and fine-grained temporal patterns. To address these problems, we achieve MM-ISTS, a multimodal framework augmented by vision-text large language models, that bridges temporal, visual, and textual modalities, facilitating ISTS forecasting. MM-ISTS encompasses a novel two-stage encoding mechanism. In particular, a cross-modal vision-text encoding module is proposed to automatically generate informative visual images and textual data, enabling the capture of intricate temporal patterns and comprehensive contextual understanding, in collaboration with multimodal LLMs (MLLMs). In parallel, ISTS encoding extracts complementary yet enriched temporal features from historical ISTS observations, including multi-view embedding fusion and a temporal-variable encoder. Further, we propose an adaptive query-based feature extractor to compress the learned tokens of MLLMs, filtering out small-scale useful knowledge, which in turn reduces computational costs. In addition, a multimodal alignment module with modality-aware gating is designed to alleviate the modality gap across ISTS, images, and text. Extensive experiments on real data offer insight into the effectiveness of the proposed solutions.

研究の動機と目的

• 歴史データだけに依存することによる ISTS 予測の不規則性と希少性を、マルチモーダル情報で克服する。
• クロスモーダルエンコーディングパイプラインを介して、時系列観測を視覚と言語モダリティと結ぶ。
• ISTS エンコーディングブランチを用いて細かな時系列ダイナミクスを捉えつつ、適応クエリを通じてMLLMの文脈的推論を活用する。
• データ品質の異なる変数を考慮したモダリティ認識型ゲーティングによる効率的なマルチモーダルフュージョンを実現する。）
• method： [

提案手法

• クロスモーダル視覚-テキストエンコーディングモジュールは ISTS を不規則性対応の3チャンネル画像と MLLMs へのプロンプト強化テキストへ変換する。
• ISTS エン코ーディングブランチはマルチビュー埋め込みと2段階のトランスフォーマーを用いて、系列内の時系列ダイナミクスと系列間相関をモデル化する。
• 適応的クエリベース特徴抽出器は N 個の学習可能クエリを用いて MLLM トークンを圧縮し、変数と整合させる。
• モダリティ認識ゲーティングによるマルチモーダル揃えで、データ品質に応じてISTSとMLLM表現を適応的にフュージョンする。

実験結果

リサーチクエスチョン

• RQ1 視覚・テキストモダリティを ISTS に統合することで、ヒストリーのみモデルを超える予測精度の向上が得られるか。
• RQ2 不規則サンプリングと欠損データを、マルチモーダル予測フレームワーク内でどのように保持・活用できるか。
• RQ3 ISTS 予測のために、数値 ISTS、画像、テキストといった異種モダリティを最も効果的に整列させる仕組みは何か。
• RQ4 適応クエリとモダリティ認識ゲーティングは、計算量を削減しつつ精度を維持・向上させるか。

主な発見

• MM-ISTS は PhysioNet、MIMIC、Human Activity、USHCN の4つの実データセットにおいて、広範なベースラインと比較して優れた性能を達成した。
• クロスモーダルエンコーディングは、不規則性を不規則性対応の画像とプロンプト豊富なテキストとして保持し、MLLM に文脈的推論を寄与させる。
• ISTS エンコーダは、2段階のトランスフォーマーとマルチビュー埋め込みにより、変数内ダイナミクスと変数間相関を捉える。
• 適応的クエリベースの特徴抽出は、MLLM トークンを固定サイズの変数整列表現に圧縮し、計算コストを低減しつつ性能を維持する。
• モダリティ認識ゲーティングは、データ品質に基づき数値 ISTS 情報と MLLM 由来の文脈を動的にバランスさせ、欠損データ下でのロバスト性を向上させる。
• 実証結果は、MM-ISTS が複数データセットと指標で最先端ベースラインを上回ることを示している。