[论文解读] Kernels for sequentially ordered data

Franz J. Király, Harald Oberhauser|arXiv (Cornell University)|Jan 29, 2016

Time Series Analysis and Forecasting参考文献 32被引用 7

一句话总结

本文提出了一种基于签名特征的序列数据核框架——有序矩（ordered moments）能够捕捉序列依赖关系，从而实现将任意静态核系统性地转化为序列核。该方法通过动态规划高效计算这些核，在无需人工特征工程的情况下实现了序列分类的最先进性能，并在理论上收敛到连续矩形式。

ABSTRACT

We present a novel framework for kernel learning with sequential data of any kind, such as time series, sequences of graphs, or strings. Our approach is based on signature features which can be seen as an ordered variant of sample (cross-)moments; it allows to obtain a "sequentialized" version of any static kernel. The sequential kernels are efficiently computable for discrete sequences and are shown to approximate a continuous moment form in a sampling sense. A number of known kernels for sequences arise as "sequentializations" of suitable static kernels: string kernels may be obtained as a special case, and alignment kernels are closely related up to a modification that resolves their open non-definiteness issue. Our experiments indicate that our signature-based sequential kernel framework may be a promising approach to learning with sequential data, such as time series, that allows to avoid extensive manual pre-processing.

研究动机与目标

• 解决从多样化、高维且大规模的序列数据中学习的挑战，而无需大量人工特征工程。
• 提供一种规范的、理论基础坚实的通用方法，将任意静态核转化为序列核，同时保留序列结构。
• 通过动态规划和低秩近似实现序列核的高效计算，以实现可扩展性。
• 通过序列化视角统一并推广现有的序列核（如字符串核和对齐核）。
• 实证表明，序列化核在序列分类任务中优于最先进方法。

提出的方法

• 提出签名特征作为序列数据的规范有序矩表示，捕捉时间或顺序上的依赖关系。
• 将序列核定义为签名映射的核化版本，从而在序列上应用核方法。
• 引入核序列化：将任意静态核 $ k: \mathcal{X} \times \mathcal{X} \to \mathbb{R} $ 系统性地转化为序列核 $ k^+ $。
• 采用动态规划高效计算离散签名和序列核，类似于字符串核的计算方式。
• 使用基于张量的动态规划计算高阶序列核，并通过Nyström方法和诱导点近似实现大规模学习。
• 建立理论边界，表明在均匀采样下，离散签名收敛到连续签名积分，误差边界以总变差为度量。

实验结果

研究问题

• RQ1 能否构建一种规范的、通用的序列数据特征表示，以捕捉有序依赖关系并支持核学习？
• RQ2 如何通过序列化系统性地将任意现有静态核转化为序列核？
• RQ3 计算序列核的计算复杂度是多少？能否使其在大规模序列上高效运行？
• RQ4 序列化核在性能和理论特性方面与字符串核和对齐核等既有核方法相比如何？
• RQ5 该框架能否避免人工特征工程，同时在序列分类中实现最先进性能？

主要发现

• 基于签名的序列核框架为序列提供了规范的、通用的特征映射，在采样条件下理论收敛到连续矩形式。
• 通过动态规划可高效计算序列化核，从而实现对长序列和大规模数据集的可扩展性。
• 字符串核和对齐核被证明是所提序列化框架的特例或密切相关形式，通过修改解决了对齐核的非正定性问题。
• 在手部运动和数字笔迹分类任务上的实验表明，序列化核即使在缺乏复杂预处理的情况下，也优于最先进方法。
• 理论分析证明，离散签名以误差边界与子区间最大变差成比例的方式逼近连续签名，收敛速率为 $ O(\max_i V(x[t_i,t_{i+1}])) $。
• 该框架支持高阶序列化，并对布朗运动噪声具有鲁棒性，二阶近似在噪声观测下表现出稳定性能。