[论文解读] Modeling Time Series Similarity with Siamese Recurrent Networks

Wenjie Pei, David M. J. Tax+1 more|arXiv (Cornell University)|Mar 15, 2016

Time Series Analysis and Forecasting参考文献 33被引用 36

一句话总结

本文提出Siamese Recurrent Networks (SRNs)，一种通过联合训练共享循环网络将时间序列对嵌入向量表示的监督深度学习模型，其中相似性通过加权内积进行度量。该模型通过利用类别条件监督学习判别性、可泛化的表示，在少样本和零样本学习场景（如签名和语音识别）中显著提升了性能，优于DTW等无监督基线方法。

ABSTRACT

Traditional techniques for measuring similarities between time series are based on handcrafted similarity measures, whereas more recent learning-based approaches cannot exploit external supervision. We combine ideas from time-series modeling and metric learning, and study siamese recurrent networks (SRNs) that minimize a classification loss to learn a good similarity measure between time series. Specifically, our approach learns a vectorial representation for each time series in such a way that similar time series are modeled by similar representations, and dissimilar time series by dissimilar representations. Because it is a similarity prediction models, SRNs are particularly well-suited to challenging scenarios such as signature recognition, in which each person is a separate class and very few examples per class are available. We demonstrate the potential merits of SRNs in within-domain and out-of-domain classification experiments and in one-shot learning experiments on tasks such as signature, voice, and sign language recognition.

研究动机与目标

• 解决手工设计和无监督相似性度量在时间序列分析中的局限性，这些方法无法适应数据分布或利用类别级监督。
• 开发一种深度学习模型，通过利用相似对与不相似对的监督信号，在时间序列间学习全局共享的相似性度量。
• 在仅每类提供少量样本的挑战性场景（如零样本学习和极端分类）中提升性能。
• 在签名、语音和手语识别等实际任务中展示该模型的有效性。

提出的方法

• 该模型采用孪生结构，共享循环神经网络权重，以将两个输入时间序列处理为潜在表示。
• 每个时间序列的表示从所有时间步的最终隐藏状态（SRN-L）或隐藏状态的平均值（SRN-A）获得。
• 通过两个学习表示之间的加权内积计算相似性得分。
• 所有模型参数通过最小化对比分类损失进行端到端训练，使相似对更接近，不相似对更远离。
• 该模型在标记为相似或不相似的时间序列对上进行训练，使其能够从监督中学习判别性相似性度量。
• 在多个数据集（包括MCYT（签名）、阿拉伯语语音和手语）上评估该方法，使用t-SNE可视化和分类准确率。

实验结果

研究问题

• RQ1 在少样本和零样本学习设置中，监督深度学习模型能否学习到比传统无监督方法（如DTW）更有效的时间序列相似性度量？
• RQ2 当每类仅有少量训练样本时，Siamese循环网络的泛化能力如何？
• RQ3 在类别多样性高且每类样本数量少的任务中，学习跨所有时间序列的共享全局相似性度量是否能提升性能？
• RQ4 通过可视化和分类结果，所学习的表示在多大程度上捕捉了时间序列之间的有意义语义和结构相似性？

主要发现

• SRN-L变体（使用最终隐藏状态作为表示）在域内和域外分类任务中表现优于传统方法（如DTW）。
• SRN-L嵌入的t-SNE可视化显示，相似的签名和语音语句被一致地聚类在一起，表明语义相似的时间序列实现了有效聚类。
• 在零样本学习实验中，SRN展现出强大的泛化能力，能有效区分仅用少量每类样本训练的真伪签名。
• 该模型在聚类和分类任务中优于无监督基线方法（如DTW），尤其在类别级监督对学习相关特征至关重要的场景中。
• t-SNE图显示，SRN嵌入捕捉了有意义的结构特征（如签名中的笔压变化和语音数据中的说话人身份），而DTW未能有效聚类同类别样本。
• 结果表明，通过Siamese循环网络进行时间序列相似性的监督学习，相比无监督或手工设计方法，能实现更优的表示学习，尤其在低数据场景下。