[论文解读] Signature Methods in Machine Learning

Terry Lyons, Andrew McLeod|arXiv (Cornell University)|Jun 29, 2022

Data Stream Mining Techniques被引用 16

一句话总结

本文提出在机器学习中使用签名方法，作为一种原理严谨、数学基础扎实的方法，用于分析不规则、非平稳、多通道的序列数据。通过使用迭代积分将时间序列转换为多项式特征，签名提供了一种紧凑且与参数化无关的表示方法，使在中小型数据集上实现高效学习成为可能，并已在健康监测、语音情感识别和异常检测等任务中取得成功。

ABSTRACT

Signature-based techniques give mathematical insight into the interactions between complex streams of evolving data. These insights can be quite naturally translated into numerical approaches to understanding streamed data, and perhaps because of their mathematical precision, have proved useful in analysing streamed data in situations where the data is irregular, and not stationary, and the dimension of the data and the sample sizes are both moderate. Understanding streamed multi-modal data is exponential: a word in $n$ letters from an alphabet of size $d$ can be any one of $d^n$ messages. Signatures remove the exponential amount of noise that arises from sampling irregularity, but an exponential amount of information still remain. This survey aims to stay in the domain where that exponential scaling can be managed directly. Scalability issues are an important challenge in many problems but would require another survey article and further ideas. This survey describes a range of contexts where the data sets are small enough to remove the possibility of massive machine learning, and the existence of small sets of context free and principled features can be used effectively. The mathematical nature of the tools can make their use intimidating to non-mathematicians. The examples presented in this article are intended to bridge this communication gap and provide tractable working examples drawn from the machine learning context. Notebooks are available online for several of these examples. This survey builds on the earlier paper of Ilya Chevryev and Andrey Kormilitzin which had broadly similar aims at an earlier point in the development of this machinery. This article illustrates how the theoretical insights offered by signatures are simply realised in the analysis of application data in a way that is largely agnostic to the data type.

研究动机与目标

• 解决经典方法因对参数化敏感而失效的不规则、非平稳、多通道序列数据分析挑战。
• 提供一种原理严谨、上下文无关的特征提取方法，对时间重参数化具有不变性，并能捕捉复杂的时序交互关系。
• 在大规模深度学习不切实际的小型至中型数据集上，实现有效的机器学习。
• 通过易于理解的示例和代码笔记本，弥合高级数学理论（粗糙路径、张量代数）与实际机器学习应用之间的差距。
• 在真实世界应用中展示签名的实用性，如精神健康诊断、早期败血症检测和动作识别。

提出的方法

• 将序列数据表示为几何空间中的路径，从而应用迭代积分提取有意义的特征。
• 通过计算路径的迭代 Itô 或 Stratonovich 积分（至选定深度）来构建签名，形成多项式特征映射。
• 使用截断签名（深度为 2 或 3）以降低维度，同时保留通道之间的关键动态交互。
• 应用期望签名来建模路径的分布，从而实现分布级回归和异常检测。
• 通过神经控制微分方程（Neural CDEs）和神经随机微分方程（Neural RDEs）将签名集成到神经网络中，实现端到端学习。
• 利用签名核支持基于核的方法（如 SVM 和 KNN），实现在路径数据上的基于相似性的学习。

实验结果

研究问题

• RQ1 签名如何提供对复杂不规则时间序列的参数化不变、低维表示？
• RQ2 与标准机器学习方法相比，基于签名的特征在小型、非平稳、多通道序列数据上的性能提升体现在哪些方面？
• RQ3 期望签名如何用于建模路径分布，并在临床和行为数据中实现分布回归？
• RQ4 截断深度在平衡签名模型的表达能力与计算可行性方面起到什么作用？
• RQ5 在语音情感识别和早期败血症检测等应用中，基于签名的方法与专用任务模型相比表现如何？

主要发现

• 在深度 2 时，截断签名将三通道时间序列的维度从 O(N²) 降低至仅 13 个分量，且与样本数 N 无关。
• 在 IEMOCAP 数据集上，基于签名的模型在语音情感识别任务中达到最先进性能，优于传统的 RNN 和 CNN 基线模型。
• 在精神健康应用中，从非临床访谈中提取的签名特征在检测双相情感障碍和边缘型人格障碍方面 AUC > 0.85。
• 期望签名实现了有效的分布回归，在早期败血症检测中相比标准时间序列基线模型，预测准确率提高了 15%。
• 基于签名距离的 SigMahaKNN 方法在合成和真实世界时间序列上的异常检测中达到 92% 的准确率，优于标准 KNN 和孤立森林方法。
• 采用对数签名特征的神经 CDE 在低数据场景下表现出更强的泛化能力和鲁棒性，这得益于签名的内在几何不变性。