[논문 리뷰] Spatio-Temporal Alignments: Optimal transport through space and time

Hicham Janati, Marco Cuturi외 1명|arXiv (Cornell University)|2019. 10. 09.

Diffusion and Search Dynamics참고 문헌 19인용 수 7

한 줄 요약

이 논문은 시간 시리즈 데이터에서 공간적 및 시간적 변동성을 동시에 모델링할 수 있도록, 비균형 최적 운반 이론을 활용한 공간적 차이와 소프트-DTW를 활용한 시간적 정렬을 조합한 미분 가능한 거리 측도인 Spatio-Temporal Alignments (STA)를 제안한다. 이 방법은 시간 이동에 대해 2차 감도를 가지며, 뇌 영상 및 손글씨 문자 데이터를 효과적으로 군집화하여 공간적 및 시간적 구조를 포착한다.

ABSTRACT

Comparing data defined over space and time is notoriously hard, because it involves quantifying both spatial and temporal variability, while at the same time taking into account the chronological structure of data. Dynamic Time Warping (DTW) computes an optimal alignment between time series in agreement with the chronological order, but is inherently blind to spatial shifts. In this paper, we propose Spatio-Temporal Alignments (STA), a new differentiable formulation of DTW, in which spatial differences between time samples are accounted for using regularized optimal transport (OT). Our temporal alignments are handled through a smooth variant of DTW called soft-DTW, for which we prove a new property: soft-DTW increases quadratically with time shifts. The cost matrix within soft-DTW that we use are computed using unbalanced OT, to handle the case in which observations are not normalized probabilities. Experiments on handwritten letters and brain imaging data confirm our theoretical findings and illustrate the effectiveness of STA as a dissimilarity for spatio-temporal data.

연구 동기 및 목표

• 시간적 순서를 유지하면서 공간적·시간적으로 변동하는 시공간 데이터를 비교하는 데 도전하는 것.
• 동적 시간 정렬(DTW)의 비미분 가능성으로 인해 엔드 투 엔드 학습에 제한이 생기는 문제를 해결하는 것.
• 최적 운반을 통한 공간 이동과 소프트-DTW를 통한 시간 이동을 모두 포괄하는 통합적이고 미분 가능한 이질성 측도를 개발하는 것.
• 뇌 영상 및 손글씨 운동 시퀀스와 같은 시공간 데이터에 대해 효과적인 군집화 및 표현 학습을 가능하게 하는 것.

제안 방법

• 이 방법은 기울기 기반 최적화를 허용하는 DTW의 매끄럽고 미분 가능한 근사인 소프트-DTW를 사용한다.
• 시간 샘플 간의 공간적 차이를 비확률적 측정치를 고려한 비균형 최적 운반 이론을 통해 모델링한다.
• 전체 비용은 각 정렬의 비용이 공간 운반 비용(비균형 워셔슈타인을 통한)과 시간 정렬 비용(소프트-DTW를 통한)을 조합한 소프트 최소화 방식으로 정의된다.
• 엔트로피 정규화를 활용하여 싱크호른 알고리즘을 사용해 효율적인 계산을 가능하게 한다.
• 최종적으로 유도된 이질성, 즉 시공간 정렬(Sp latterm Alignments, STA)은 공간 및 시간 구성 요소를 모두 거쳐 역전파가 가능하다.
• 대규모 데이터셋, 예를 들어 각각 642개 정점을 가진 200개의 뇌 신호에 대해 다중 GPU 가속을 통해 구현된다.

실험 결과

연구 질문

• RQ1 시간 시리즈 데이터에서 공간적 및 시간적 변동성을 동시에 모델링할 수 있는 미분 가능한 거리 측도를 어떻게 설계할 수 있는가?
• RQ2 논문에서 주장한 바와 같이, 소프트-DTW는 시간 이동에 대해 2차 감도를 보이는가?
• RQ3 비균형 최적 운반 이론은 신경 활동이나 펜 궤적과 같은 비확률적이고 비정규화된 데이터의 공간적 차이를 효과적으로 포착할 수 있는가?
• RQ4 혼합된 공간적 및 시간적 변동이 존재하는 시공간 데이터 군집화에서 STA는 표준 소프트-DTW보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 손글씨 문자 및 시뮬레이션된 뇌 신호와 같은 실제 데이터셋에 대해 STA는 얼마나 잘 일반화되는가?

주요 결과

• β > 0일 때에만 t-SNE 시각화에서 네 개의 명확한 군집(두 영역, 두 시간점)이 분리됨을 확인하여, STA는 시뮬레이션된 뇌 신호에서 공간적 및 시간적 차이를 효과적으로 포착함을 입증함.
• β = 0.1일 때, DGX-1에서 10분 내로 200개의 시뮬레이션된 뇌 신호를 효과적으로 군집화하였으며, 800만 회 이상의 싱크호른 반복을 처리함.
• 손글씨 문자 데이터셋에서, 시간 역동성이 유사하더라도 공간적 구조에 따라 글자를 명확히 분리함으로써, STA는 소프트-DTW를 능가하는 t-SNE 시각화 성능을 보임.
• 손글씨 문자 실험에서 β 값에 대해 높은 안정성을 보이며, 다양한 정규화 수준에서도 강인함을 입증함.
• 200개의 뇌 신호에 대한 전체 STA 이질성 행렬은 약 800만 회의 싱크호른 루프를 요구하였으며, GPU 하드웨어에서 효율적으로 처리됨.