[論文レビュー] Time Series, Vision, and Language: Exploring the Limits of Alignment in Contrastive Representation Spaces

Pratham Yashwante, Rose Yu|arXiv (Cornell University)|Feb 22, 2026

Language and cultural evolution被引用数 0

ひとこと要約

本論文は時系列・視覚・言語の三者の整合性を対比学習を用いて体系的に研究し、モダリティ間での非対称性と飽和性を明らかにし、情報密度と視覚 grounding の影響的役割を示す。

ABSTRACT

The Platonic Representation Hypothesis posits that learned representations from models trained on different modalities converge to a shared latent structure of the world. However, this hypothesis has largely been examined in vision and language, and it remains unclear whether time series participate in such convergence. We first examine this in a trimodal setting and find that independently pretrained time series, vision, and language encoders exhibit near-orthogonal geometry in the absence of explicit coupling. We then apply post-hoc alignment by training projection heads over frozen encoders using contrastive learning, and analyze the resulting representations with respect to geometry, scaling behavior, and dependence on information density and input modality characteristics. Our investigation reveals that overall alignment in contrastive representation spaces improves with model size, but this alignment is asymmetric: time series align more strongly with visual representations than with text, and images can act as effective intermediaries between time series and language. We further see that richer textual descriptions improve alignment only up to a threshold; training on denser captions does not lead to further improvement. Analogous effects are observed for visual representations. Our findings shed light on considerations for building multimodal systems involving non-conventional data modalities beyond vision and language.

研究の動機と目的

• 時系列表現が視覚と語言と共有潜在空間で整合できるかを評価する。
• 対比学習の下で三者表現の幾何・スケーリング挙動を特徴づける。
• モダリティ間・データセット間でクロスモーダル整合を促進・制限する要因を特定する。
• 整合における情報密度・ grounding・モダリティ補完性の役割を examine する。
• 時系列データを含むマルチモーダルシステムの設計原理を示す。

提案手法

• 凍結された単一モダリティエンコーダ（時系列、画像、テキスト）と共有空間へ投影ヘッドを訓練する CLIP スタイルの枠組みを使用。
• 全モダリティ対（TS–IMG、TS–TXT、IMG–TXT）に対称的なクロスモーダル InfoNCE 損失を適用し、複数の指標で評価。
• 整合性の傾向を研究するために34構成・26組のエンコーダ組み合わせでモデル容量をスケール。
• 語彙キャプションのバリエーションを用いてテキストの情報密度を変化させ、意味的明示性の影響を評価。
• CaTS-Bench および追加データセット（TRUCE、MIMIC、PTB-XL）で頑健性と間接的なテキスト監視を検証。
• コサインマージン・Recall@k・Procrustes 不一致・CK A・相互 k-NN 重複などの指標で整合性を分析。

Figure 1 : Trimodal projections of a shared temporal process. A latent process $Z$ gives rise to a numeric time series, a visual line plot, and a textual description, each representing the same signal in values, geometry, and language. Modality-specific encoders $f_{\text{ts}}$ , $f_{\text{img}}$ ,

実験結果

リサーチクエスチョン

• RQ1 対比表現空間の整合はモデルがスケールアップするにつれて時系列・視覚・語言の間で一様に改善するか。
• RQ2 時系列の視覚・語言への整合における非対称性はどのように現れ、なぜ生じるのか。
• RQ3 テキスト情報密度はクロスモーダル整合にどう影響し、飽和は生じるのか。
• RQ4 間接的なテキスト監視と言語的シフトが整合に与える影響は何か。
• RQ5 より豊かな視覚入力やトリモーダル設定は弱い対の整合を緩和できるか。

主な発見

• モデルスケールとともに整合性は改善するが収束は非対称：TS–IMG は TS–TXT より整合し、全体的な近傍レベルの整合は依然として弱い。
• jointly pretrained VL モデルは強い IMG–TXT 整合を実現し、スケール依存度を低く抑えつつトリモーダル設定へ転移可能。
• テキスト情報密度の増加は閾値まで整合を改善するが、それを超えると密度の追加効果は限られる。
• CaTS キャプションは信号構造と直接関連する場合に MIMIC よりも強い整合を生み出す一方、間接的なテキスト監督は整合を劣化させ、特に TS–TXT および IMG–TXT で顕著。
• 画像モダリティを追加すると TS–TXT の整合が大幅に改善される一方、すでに強い TS–IMG ペアへ第三モダリティを追加すると最適化の複雑さから性能が低下する可能性。
• より豊かな視覚入力（注釈付き TRUCE プロットなど）は TS–IMG 整合を一貫して高め、モデル規模の拡大はこれらの利益を増幅する。

Figure 2 : Mean angular deviation between pretrained cross-modal representations on CaTS shows little inherent alignment.