[论文解读] Embedding and learning with signatures

Adeline Fermanian|arXiv (Cornell University)|Nov 29, 2019

Music and Audio Processing参考文献 42被引用 12

一句话总结

本文提出签名方法——一种用于序列性和多维时间序列的通用几何特征表示方法——通过将离散数据嵌入连续路径并计算迭代积分。结果表明，无论在何种数据集和算法下，领先-滞后嵌入始终优于其他方法，在计算成本极低的情况下实现了最先进水平的准确率，即使与XGBoost等简单模型结合使用亦是如此。

ABSTRACT

Sequential and temporal data arise in many fields of research, such as quantitative finance, medicine, or computer vision. A novel approach for sequential learning, called the signature method and rooted in rough path theory, is considered. Its basic principle is to represent multidimensional paths by a graded feature set of their iterated integrals, called the signature. This approach relies critically on an embedding principle, which consists in representing discretely sampled data as paths, i.e., functions from $[0,1]$ to $\mathbb{R}^d$. After a survey of machine learning methodologies for signatures, the influence of embeddings on prediction accuracy is investigated with an in-depth study of three recent and challenging datasets. It is shown that a specific embedding, called lead-lag, is systematically the strongest performer across all datasets and algorithms considered. Moreover, an empirical study reveals that computing signatures over the whole path domain does not lead to a loss of local information. It is concluded that, with a good embedding, combining signatures with other simple algorithms achieves results competitive with state-of-the-art, domain-specific approaches.

研究动机与目标

• 评估不同路径嵌入对基于签名学习性能的影响。
• 评估在完整路径上计算签名是否保留了局部信息。
• 比较基于签名的模型与时间序列分类领域最先进的专用方法。
• 研究签名特征在高维序列数据中的鲁棒性和可扩展性。
• 确立签名方法作为序列学习中一种通用、高效且具有竞争力的替代方案。

提出的方法

• 通过时间、领先-滞后和时间-领先-滞后等嵌入方式，将离散序列数据表示为 $[0,1] \to \mathbb{R}^d$ 中的连续路径。
• 将每条路径的签名作为迭代积分的分级特征集计算，截断阶数指定。
• 对签名特征应用标准机器学习算法（例如XGBoost、k-NN、神经网络）进行分类。
• 采用领先-滞后嵌入，即将每个分量与其后续值连接，以增强时间动态的几何表示。
• 使用标准指标（如 $F_1$-score 和训练时间）在多个数据集上评估模型性能。
• 并行化签名计算，以实现大规模数据集的可扩展性，在笔记本电脑上实现每样本约 0.0008 秒的处理速度。

实验结果

研究问题

• RQ1 不同路径嵌入（如时间、领先-滞后）如何影响基于签名模型的预测准确率？
• RQ2 在完整路径域上计算签名是否会损失局部时间信息？
• RQ3 结合简单非深度学习算法的基于签名的特征能否实现与最先进领域专用模型相媲美甚至更优的性能？
• RQ4 签名方法在维度和特征数量增加时的可扩展性如何？
• RQ5 为何领先-滞后嵌入在多种数据集和算法中均表现出卓越性能？

主要发现

• 领先-滞后嵌入在所有测试的数据集和算法中始终优于其他所有嵌入方式，表现出稳定的优越性。
• 全路径签名保留了足够的局部信息，证据显示其性能即使与子路径签名相比也极高。
• 使用XGBoost的基于签名的模型在Quick, Draw!数据集上达到了 93.5% 的 $F_1$-score，比一个深度学习模型高出 1.5 个百分点，且计算效率显著更高。
• 签名计算在笔记本电脑上每样本仅耗时约 0.0008 秒，使得对包含 68,000 个样本的 Quick, Draw! 这类大规模数据集也能实现快速处理。
• 该方法在高维的 Motion Sense 数据集上取得了最强结果，表明其在处理多维序列流方面具有显著优势。
• 即使在超过 100,000 个签名特征的情况下性能依然稳定，表明对高维性具有鲁棒性，并具备扩展至大数据的潜力。