[논문 리뷰] Time Series, Vision, and Language: Exploring the Limits of Alignment in Contrastive Representation Spaces

Pratham Yashwante, Rose Yu|arXiv (Cornell University)|2026. 02. 22.

Language and cultural evolution인용 수 0

한 줄 요약

논문은 대조 학습을 사용하여 시계열, 비전, 언어 간의 삼중 모달 정렬을 체계적으로 연구하고, 모달리티 간 비대칭적이고 포화되는 정렬과 정보 밀도 및 시각적 바인딩의 영향력을 밝힙니다.

ABSTRACT

The Platonic Representation Hypothesis posits that learned representations from models trained on different modalities converge to a shared latent structure of the world. However, this hypothesis has largely been examined in vision and language, and it remains unclear whether time series participate in such convergence. We first examine this in a trimodal setting and find that independently pretrained time series, vision, and language encoders exhibit near-orthogonal geometry in the absence of explicit coupling. We then apply post-hoc alignment by training projection heads over frozen encoders using contrastive learning, and analyze the resulting representations with respect to geometry, scaling behavior, and dependence on information density and input modality characteristics. Our investigation reveals that overall alignment in contrastive representation spaces improves with model size, but this alignment is asymmetric: time series align more strongly with visual representations than with text, and images can act as effective intermediaries between time series and language. We further see that richer textual descriptions improve alignment only up to a threshold; training on denser captions does not lead to further improvement. Analogous effects are observed for visual representations. Our findings shed light on considerations for building multimodal systems involving non-conventional data modalities beyond vision and language.

연구 동기 및 목표

• 시계열 표현이 비전 및 언어와 공유 잠재 공간에서 정렬될 수 있는지 평가합니다.
• 대조 학습 하에서 삼중 모달 표현의 기하학적 형태와 스케일링 동작을 특징지웁니다.
• 모달리티 간 및 데이터 세트 간의 교차 모달 정렬을 촉진하거나 제한하는 요인을 식별합니다.
• 정렬에서 정보 밀도, 바인딩, 모달리티 보완성의 역할을 examined합니다.
• 시계열 데이터를 포함하는 멀티모달 시스템 설계 원칙에 정보를 제공합니다.

제안 방법

• 얼어 있는 단일 모드 인코더(시계열, 이미지, 텍스트)와 공유 공간으로 투영 헤드를 학습하는 CLIP 스타일 프레임워크를 사용합니다.
• 모든 모달 쌍(TS–IMG, TS–TXT, IMG–TXT) 간의 대칭적 교차 모달 InfoNCE 손실을 적용하고 여러 지표로 평가합니다.
• 정렬 경향을 연구하기 위해 34 구성과 26 개 인코더 조합으로 모델 용량을 확장합니다.
• 텍스트의 정보 밀도를 자막 변형을 사용하여 변화시키고 의미 명시성의 효과를 평가합니다.
• CaTS-Bench 및 추가 데이터 세트(TRUCE, MIMIC, PTB-XL)에서 견고성과 간접 텍스트 감독을 테스트합니다.
• 코사인 마진, Recall@k, Procrustes disparity, CK A, 상호 k-NN 중첩 등의 지표로 정렬을 분석합니다.

Figure 1 : Trimodal projections of a shared temporal process. A latent process $Z$ gives rise to a numeric time series, a visual line plot, and a textual description, each representing the same signal in values, geometry, and language. Modality-specific encoders $f_{\text{ts}}$ , $f_{\text{img}}$ ,

실험 결과

연구 질문

• RQ1 대조 표현 공간의 정렬이 모델 확장에 따라 시계열, 비전, 언어 전반에서 균일하게 개선되나요?
• RQ2 시계열의 비전 및 언어와의 정렬 간의 비대칭성은 어떻게 나타나며 그 이유는 무엇인가요?
• RQ3 텍스트 정보 밀도가 교차 모달 정렬에 어떤 영향을 미치며 포화가 있나요?
• RQ4 간접 텍스트 감독 및 언어적 변화가 정렬에 미치는 영향은 무엇인가요?
• RQ5 더 풍부한 시각 입력이나 삼중 모달 설정이 약한 쌍의 정렬을 완화할 수 있나요?

주요 결과

• 모델 확장에 따라 정렬이 개선되지만 수렴은 비대칭적입니다: TS–IMG가 TS–TXT보다 더 잘 정렬되며 전체 공간 수준의 인접성 정렬은 여전히 약합니다.
• 공동으로 사전 학습된 VL 모델은 IMG–TXT 정렬을 강하게 가능하게 하며, 이는 더 적은 규모 의존성으로 삼중 모달 설정으로 전이될 수 있습니다.
• 텍스트 정보 밀도 증가가 임계값까지 정렬을 향상시키나 그 이후에는 추가 밀도가 미미한 이득을 가져옵니다.
• CaTS 자막은 신호 구조와 직접 관련될 때 MIMIC보다 더 강한 정렬을 제공합니다; 간접 텍스트 감독은 특히 TS–TXT 및 IMG–TXT의 정렬을 악화시킵니다.
• 이미지 모달리티를 추가하면 TS–TXT 정렬이 크게 향상되며, 이미 강한 TS–IMG 쌍에 세 번째 모달을 더하면 최적화 복잡성으로 인해 성능이 저하될 수 있습니다.
• 더 풍부한 시각 입력(예: 주석이 달린 TRUCE 도표)은 TS–IMG 정렬을 지속적으로 향상시키고, 더 큰 모델이 이러한 이득을 증폭합니다.

Figure 2 : Mean angular deviation between pretrained cross-modal representations on CaTS shows little inherent alignment.