[論文レビュー] Spatio-Temporal Alignments: Optimal transport through space and time

Hicham Janati, Marco Cuturi+1 more|arXiv (Cornell University)|Oct 9, 2019

Diffusion and Search Dynamics参考文献 19被引用数 7

ひとこと要約

本稿では、空間的差異のための非平衡最適輸送と時間的整合のためのソフト-DTWを組み合わせた微分可能距離関数であるSpatio-Temporal Alignments (STA)を提案する。この手法により、時系列データにおける空間的および時間的ばらつきの共同モデリングが可能となり、時間シフトに対して2次的な感度を示し、脳画像データや手書き文字データのクラスタリングに効果的に機能する。

ABSTRACT

Comparing data defined over space and time is notoriously hard, because it involves quantifying both spatial and temporal variability, while at the same time taking into account the chronological structure of data. Dynamic Time Warping (DTW) computes an optimal alignment between time series in agreement with the chronological order, but is inherently blind to spatial shifts. In this paper, we propose Spatio-Temporal Alignments (STA), a new differentiable formulation of DTW, in which spatial differences between time samples are accounted for using regularized optimal transport (OT). Our temporal alignments are handled through a smooth variant of DTW called soft-DTW, for which we prove a new property: soft-DTW increases quadratically with time shifts. The cost matrix within soft-DTW that we use are computed using unbalanced OT, to handle the case in which observations are not normalized probabilities. Experiments on handwritten letters and brain imaging data confirm our theoretical findings and illustrate the effectiveness of STA as a dissimilarity for spatio-temporal data.

研究の動機と目的

• 時間的順序を保持しつつ、空間的および時間的に変動する時系列データを比較する課題に対処すること。
• エンドツーエンド学習への応用が制限される非微分可能であるDTWの問題を克服すること。
• 最適輸送による空間的シフトとソフト-DTWによる時間的シフトを同時に捉える統合的で微分可能な類似度測度を開発すること。
• 脳画像や手書き運動シーケンスのような時空間データにおける効果的なクラスタリングおよび表現学習を可能にすること。

提案手法

• 本手法は、勾配ベース最適化を可能にする滑らかで微分可能なDTWの近似としてソフト-DTWを用いる。
• 時間サンプル間の空間的差異は、確率的でない測度の比較を可能にする非平衡最適輸送を用いてモデル化する。
• 全体のコストは、各アラインメントのコストが空間的輸送コスト（非平衡ウォッシャー形式）と時間的整合コスト（ソフト-DTW形式）を組み合わせた、アラインメントのソフトミニマム化として定義される。
• エントロピー正則化を活用することで、シンクホルン法を用いた効率的な計算が可能になる。
• 得られる類似度、すなわちSpatio-Temporal Alignment (STA) は微分可能であり、空間的および時間的成分の両方に対してバックプロパゲーションが可能である。
• 本手法は、1つのDGX-1上で642頂点を有する200個の脳信号といった大規模データセットにスケーリング可能であるように、マルチGPUを用いて実装されている。

実験結果

リサーチクエスチョン

• RQ1 時系列データにおける空間的および時間的ばらつきを共同でモデリングできる微分可能な距離関数をどのように設計できるか？
• RQ2 本稿で主張されているように、ソフト-DTWは時間シフトに対して2次的な感度を示すか？
• RQ3 非平衡最適輸送は、神経活動やペンの軌跡のような確率的でも正規化されていない非確率的データにおける空間的差異を効果的に捉えることができるか？
• RQ4 混合された空間的および時間的ばらつきを示す時空間データのクラスタリングにおいて、STAは標準的なソフト-DTWをどの程度上回るか？
• RQ5 手書き文字やシミュレーテッド脳信号といった実世界のデータセットに対して、STAはどの程度一般化性能を示すか？

主な発見

• STAは、β > 0 の場合に限り、4つの明確なグループ（2つの領域、2つの時間点）に分離するt-SNE可視化が得られるように、シミュレーテッド脳信号における空間的および時間的差異を的確に捉えている。
• β = 0.1 の場合、STAはDGX-1上で10分間で200個のシミュレーテッド脳信号のクラスタリングを効果的に行い、800万回以上のシンクホルン反復処理を実行した。
• 手書き文字データセットでは、時間的ダイナミクスが類似している場合でも、STAはt-SNE可視化で空間的構造に基づいて文字を明確に分離した。
• 手書き文字実験ではβ値に対して安定しており、さまざまな正則化レベルでも一貫性のある性能を示した。
• 200個の脳信号の完全なSTA類似度行列は、642次元のベクトル間で約800万回のシンクホルンループを要したが、GPUハードウェア上で効率的に処理された。