[논문 리뷰] Deep Signature Transforms

Patric Bonnier, Patrick Kidger외 3명|arXiv (Cornell University)|2019. 05. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 53

한 줄 요약

이 논문은 시그니처 변환을 딥러닝과 통합하여 데이터 의존적 증강을 학습하고 시그니처 계층을 신경망 구성요소로 쌓아 스트림 보존형 다층 아키텍처를 순차 데이터 작업에 가능하게 한다.

ABSTRACT

The signature is an infinite graded sequence of statistics known to characterise a stream of data up to a negligible equivalence class. It is a transform which has previously been treated as a fixed feature transformation, on top of which a model may be built. We propose a novel approach which combines the advantages of the signature transform with modern deep learning frameworks. By learning an augmentation of the stream prior to the signature transform, the terms of the signature may be selected in a data-dependent way. More generally, we describe how the signature transform may be used as a layer anywhere within a neural network. In this context it may be interpreted as a pooling operation. We present the results of empirical experiments to back up the theoretical justification. Code available at https://github.com/patrick-kidger/Deep-Signature-Transforms.

연구 동기 및 목표

• 신경망 내에서 시그니처 변환을 학습 가능한 레이어로 동기화하고 formalize한다.
• 시그니처 계산 이전의 데이터 의존적 증강을 도입하여 고차 정보를 포착한다.
• 스트림 구조를 보존하면서 여러 시그니처 레이어를 쌓을 수 있도록 lifts 개념을 도입한다.
• 시그니처 레이어가 풀링 연산으로 기능하고 딥 아키텍처로 구성될 수 있음을 보여준다.
• 생성, 지도 학습, 강화 학습 과제 전반에서 실용적 효율성을 시연한다.

제안 방법

• path-like 데이터에 대해 깊이 N의 잘려진 시그니처를 Sig^N으로 정의한다.
• 입력을 시그니처 계산 이전에 보강하는 학습 가능한 특징 맵 Phi^theta를 도입한다.
• Sig^N 이전에 경로 구조를 보존하기 위한 Phi^theta의 스트림 보존 전략을 설명한다.
• 네트워크에서 다중 시그니처 계층을 가능하게 하는 lifts(ell)를 통해 시그니처 계층을 쌓는 방법을 설명한다.
• Phi^theta, Sig^N, lifts, 신경망을 결합한 DeepSig 모델(그림 2)을 제시한다.
• 실용적 구현 노트(Signatory)를 통해 시그니처 계층에서의 학습 및 역전파를 수행하는 방법을 보여준다.

실험 결과

연구 질문

• RQ1 시그니처 변환을 신경망의 차분 가능한 레이어로 효과적으로 삽입할 수 있는가?
• RQ2 시그니처 이전의 증강 Phi^theta 학습이 고정 증강보다 정보 포착을 향상시키는가?
• RQ3 lifts와 다층 시그니처 계층을 어떻게 구성해 비마르코프적 순차 데이터를 모델링할 수 있는가?
• RQ4 딥 시그니처 모델이 생성, 지도, 강화 학습 과제에서 전통적 순차 모델을 능가하는가?

주요 결과

테스트 MSE	평균	분산	# 파라미터
Rescaled Range	7.2×10^-2	3.7×10^-3	N/A
LSTM	4.3×10^-2	8.0×10^-3	12961
Feedforward	2.8×10^-2	3.0×10^-3	10209
GRU	3.3×10^-3	1.3×10^-3	9729
RNN	1.7×10^-3	4.9×10^-4	10091
DeepSigNet	2.1×10^-4	8.7×10^-5	9261
DeeperSigNet	1.6×10^-4	2.1×10^-5	9686

• 시그니처 변환은 차분 역전파가 가능한 레이어로 사용할 때 신경망의 보편적 비선형성으로 작용한다.
• 시그니처 이전의 데이터 의존적 증강 학습이 첫 번째 N 시그니처 항에서 고차 정보의 포착을 개선한다.
• lift를 통해 시그니처 계층을 쌓아 딥 시그니처 모델을 형성하고 스트림 구조를 보존하는 다층 표현을 가능하게 한다.
• Deep signature 모델은 LSTM, GRU, RNN 등과 비교했을 때 허상 파라미터 추정 과제에서 표 1에 제시된 바와 같이 현저한 차이로 우수한 성능을 보인다.
• 깊은 시그니처 아키텍처를 사용하는 생성 모델은 Ornstein–Uhlenbeck 데이터와 통계적으로 구별 불가능한 경로를 생성할 수 있으며 판별기는 시그니처 기반 커널을 사용해 분포를 비교한다.
• 방법론은 Mountain Car 과제에서 비교 가능한 RNN보다 성능이 우수한 시그니처 기반 기억 메커니즘을 사용하여 비마르코프 강화 학습으로 확장된다.