[论文解读] Distribution Regression for Sequential Data

Maud Lemercier, Cristopher Salvi+3 more|arXiv (Cornell University)|Jun 10, 2020

Bayesian Methods and Mixture Models参考文献 60被引用 6

一句话总结

本文提出了两种针对序列数据的新型分布回归方法——基于特征的方法与基于核的方法，利用随机分析中的期望签名来建模不规则采样多变量时间序列。该方法在热力学、金融和农业数据集上均取得了最先进性能，展现出对复杂、有序数据流的强大鲁棒性与通用性。

ABSTRACT

Distribution regression refers to the supervised learning problem where labels are only available for groups of inputs instead of individual inputs. In this paper, we develop a rigorous mathematical framework for distribution regression where inputs are complex data streams. Leveraging properties of the expected signature and a recent signature kernel trick for sequential data from stochastic analysis, we introduce two new learning techniques, one feature-based and the other kernel-based. Each is suited to a different data regime in terms of the number of data streams and the dimensionality of the individual streams. We provide theoretical results on the universality of both approaches and demonstrate empirically their robustness to irregularly sampled multivariate time-series, achieving state-of-the-art performance on both synthetic and real-world examples from thermodynamics, mathematical finance and agricultural science.

研究动机与目标

• 为复杂、不规则采样多变量时间序列的分布回归缺乏有效方法的问题提供解决方案。
• 构建一个理论基础坚实的框架，用于从数据流组学习映射到标量目标的函数。
• 利用基于签名的特征与核函数，实现对路径分布上连续函数的通用逼近。
• 提供可扩展、鲁棒的算法，以处理非交换性、高维的序列数据。

提出的方法

• 引入路径式期望签名作为利普希茨连续路径上概率测度的通用特征映射。
• 通过将期望签名与高斯核组合，构建通用核函数，从而支持基于核技巧的核方法学习。
• 使用分段线性插值将不规则采样时间序列嵌入巴拿赫空间中的连续路径。
• 应用随机分析中的签名理论与期望签名理论，捕捉路径级动态与顺序依赖性。
• 设计两种不同的学习范式：针对大量低维流的基于特征的方法，以及针对少量高维流的基于核的方法。
• 采用路径上的经验测度表示时间序列组，实现分布级别的回归。

实验结果

研究问题

• RQ1 能否为捕捉顺序性与不规则采样特性的序列数据分布构造一个通用特征映射？
• RQ2 能否基于期望签名在路径分布上定义一个通用核函数，以支持基于核的学习？
• RQ3 基于签名的方法在处理不规则采样时间序列的分布回归任务中，相较于现有方法表现如何？
• RQ4 在不同数据条件下，基于特征与基于核的方法在可扩展性与性能之间存在何种权衡？
• RQ5 所提出的方法能否在来自多样化领域的现实世界序列数据上实现最先进性能？

主要发现

• 基于特征的方法（kes）与基于核的方法（ses）在合成与真实世界分布回归任务中均取得了最先进性能。
• 在金融波动率数据集上，kes与ses的MSE分别降低至0.16（0.03）与0.21（0.05），显著优于DR-RBF、DR-Matern32与DeepSets。
• 在作物产量预测任务中，ses实现MSE为0.62（0.10）、MAPE为10.98（1.12），显著优于基线MSE的2.38（0.60）。
• 当组大小从1,000增至5,000时，kes的运行时间从约1分钟增至15分钟，而ses保持稳定在约1分钟。
• 随着每组时间序列数量的增加，两种方法性能均有所提升，验证了理论预期。
• 在热力学、金融与农业等多样化领域中，方法对不规则采样与高维序列输入均表现出强鲁棒性。