[论文解读] Deep Signature Transforms

Patric Bonnier, Patrick Kidger+3 more|arXiv (Cornell University)|May 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 48被引用 53

一句话总结

本论文将签名变换与深度学习结合，通过学习数据相关的增广，并将签名层叠作为神经网络组件，从而实现对序列数据任务的流保持、多层架构。

ABSTRACT

The signature is an infinite graded sequence of statistics known to characterise a stream of data up to a negligible equivalence class. It is a transform which has previously been treated as a fixed feature transformation, on top of which a model may be built. We propose a novel approach which combines the advantages of the signature transform with modern deep learning frameworks. By learning an augmentation of the stream prior to the signature transform, the terms of the signature may be selected in a data-dependent way. More generally, we describe how the signature transform may be used as a layer anywhere within a neural network. In this context it may be interpreted as a pooling operation. We present the results of empirical experiments to back up the theoretical justification. Code available at https://github.com/patrick-kidger/Deep-Signature-Transforms.

研究动机与目标

• 动机化并将签名变换形式化为神经网络中的可学习层。
• 提出在签名变换之前进行数据相关的增广，以捕捉更高阶的信息。
• 引入 lift 的概念以在保持流结构的前提下堆叠多个签名层。
• 展示签名层如何作为池化操作并在深度结构中组合使用。
• 展示在生成、监督和强化学习任务中的实际有效性。

提出的方法

• 将 Sig^N 定义为在路径状数据上深度为 N 的截断签名。
• 引入 Phi^theta 作为可学习的特征映射，在计算签名之前对输入进行增广。
• 描述 Phi^theta 的流保持策略，以在 Sig^N 之前保持路径结构。
• 解释 lifts（ell）以创建签名流，从而在网络中实现多个签名层。
• 给出将 Phi^theta、Sig^N、lift 和神经网络结合的 DeepSig 模型（图2）。
• 展示如何在实际实现笔记（Signatory）下训练并反向传播通过签名层。

实验结果

研究问题

• RQ1 签名变换能否有效地被嵌入神经网络中的可微分层？
• RQ2 学习增广 Phi^theta 是否能超越固定增广来改善信息捕获？
• RQ3 lifts 与多个签名层如何组合以对非马尔可夫序列数据建模？
• RQ4 深度签名模型在生成、监督和强化任务上是否优于传统序列模型？

主要发现

测试 MSE	均值	方差	# 参数
Rescaled Range	7.2×10^-2	3.7×10^-3	N/A
LSTM	4.3×10^-2	8.0×10^-3	12961
Feedforward	2.8×10^-2	3.0×10^-3	10209
GRU	3.3×10^-3	1.3×10^-3	9729
RNN	1.7×10^-3	4.9×10^-4	10091
DeepSigNet	2.1×10^-4	8.7×10^-5	9261
DeeperSigNet	1.6×10^-4	2.1×10^-5	9686

• 当作为一层使用时，签名变换充当适用于神经网络的通用非线性函数（并具有可微传播）。
• 在签名之前学习数据相关的增广可以提升对前 N 个签名项中高阶信息的捕捉。
• 签名层可以通过 lifts 堆叠形成深度签名模型，实现在保留路径结构的前提下的多层流表示。
• 在赫斯特参数估计任务上，深度签名模型相对于基线（LSTM、GRU、RNN 等）取得显著优势（如表1所示）。
• 使用深度签名架构的生成模型可以产生在统计上与 Ornstein–Uhlenbeck 数据不可区分的路径；判别器使用基于签名的核来比较分布。
• 该方法通过使用基于签名的记忆机制扩展到非马尔可夫强化学习，在 Mountain Car 任务中优于可比较的 RNN。