[論文レビュー] Deep Signature Transforms

Patric Bonnier, Patrick Kidger+3 more|arXiv (Cornell University)|May 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 48被引用数 53

ひとこと要約

この論文は、データ依存の拡張を学習し、署名変換をニューラルネットワークの構成要素として積み重ねることで、連続データタスクのためのストリームを保持する多層アーキテクチャを実現する。

ABSTRACT

The signature is an infinite graded sequence of statistics known to characterise a stream of data up to a negligible equivalence class. It is a transform which has previously been treated as a fixed feature transformation, on top of which a model may be built. We propose a novel approach which combines the advantages of the signature transform with modern deep learning frameworks. By learning an augmentation of the stream prior to the signature transform, the terms of the signature may be selected in a data-dependent way. More generally, we describe how the signature transform may be used as a layer anywhere within a neural network. In this context it may be interpreted as a pooling operation. We present the results of empirical experiments to back up the theoretical justification. Code available at https://github.com/patrick-kidger/Deep-Signature-Transforms.

研究の動機と目的

• 署名変換をニューラルネットワーク内の学習可能な層として動機づけ、形式化する。
• 署名変換の前にデータ依存の拡張を提案し、高次情報を捉える。
• ストリーム構造を保持しつつ複数の署名層を積み重ねるリフトの概念を紹介する。
• 署名層がプーリング操作として機能する様子を示し、深層アーキテクチャに組み合わせる。
• 生成、教師あり、強化学習タスクの実用的有効性を示す。

提案手法

• パス状データに対して深さNの切り捨て署名であるSig^Nを定義する。
• 署名計算前に入力を拡張する学習可能な特徴写像としてPhi^thetaを導入する。
• Sig^Nの前にパス構造を保つためのPhi^thetaのストリーム保持戦略を説明する。
• リフト(ell)を説明し、署名のストリームを作成してネットワーク内に複数の署名層を可能にする。
• Phi^theta、Sig^N、リフト、およびニューラルネットワークを組み合わせたDeepSigモデルを提示する（図2）。
• 実用的な実装ノート（Signatory）を用いて署名層を訓練し、逆伝播する方法を示す。

実験結果

リサーチクエスチョン

• RQ1 署名変換はニューラルネットワーク内の微分可能な層として効果的に埋め込むことができるか。
• RQ2 Phi^thetaによる拡張を学習することは、固定拡張を超えた情報の捉えを改善するか。
• RQ3 リフトと複数の署名層をどのように組み合わせて非マルコフ性を持つシーケンシャルデータをモデル化できるか。
• RQ4 生成、教師あり、強化学習タスクで深層署名モデルは従来のシーケンシャルモデルを上回るか。

主な発見

テスト MSE	平均	分散	# パラメータ数
Rescaled Range	7.2×10^-2	3.7×10^-3	N/A
LSTM	4.3×10^-2	8.0×10^-3	12961
Feedforward	2.8×10^-2	3.0×10^-3	10209
GRU	3.3×10^-3	1.3×10^-3	9729
RNN	1.7×10^-3	4.9×10^-4	10091
DeepSigNet	2.1×10^-4	8.7×10^-5	9261
DeeperSigNet	1.6×10^-4	2.1×10^-5	9686

• 署名変換は層として使用される場合、微分可能な逆伝播を伴うニューラルネットワークに適した普遍的な非線形性として機能する。
• 署名の前にデータ依存の拡張を学習することで、最初のN個の署名項における高次情報の捉えが向上する。
• 署名層はリフトを介して積み重ねることができ、ストリーム構造を保持した多層のストリーミング表現を可能にする深層署名モデルを形成する。
• 深層署名モデルはハーストパラメータ推定タスクで基準手法（LSTM、GRU、RNN など）を大幅に上回る（表1に示すとおり）。
• 深層署名アーキテクチャを用いた生成モデルは、オルンシュタイン–ウーレンベックデータと統計的に区別できない経路を生成できる。識別器は分布を比較する際に署名ベースのカーネルを用いる。
• 方法論は、マウンテンカータスクで同等のRNNより優れた署名ベースのメモリ機構を用いることで、非マルコフ性を持つ強化学習にも拡張される。