[논문 리뷰] Learning stochastic differential equations using RNN with log signature features

Shujian Liao, Terry Lyons외 2명|arXiv (Cornell University)|2019. 08. 22.

Time Series Analysis and Forecasting참고 문헌 43인용 수 31

한 줄 요약

이 논문은 스트리밍되고 다중 모odal인 데이터에서 기능을 학습하기 위해 순환 신경망(RNN)과 로그-시그니처 특징을 결합한 하이브리드 딥러닝 모델인 Logsig-RNN을 제안한다. 군형 경로 이론의 수학적 안정성과 로그-시그니처 표현의 효율성을 활용함으로써, 합성 데이터, 뼈대 동작, 제스처 인식 데이터셋에서 고주파, 노이즈가 많거나 누락된 데이터에 대해 뛰어난 정확도, 더 빠른 훈련 속도, 높은 강인성을 달성한다.

ABSTRACT

This paper contributes to the challenge of learning a function on streamed multimodal data through evaluation. The core of the result of our paper is the combination of two quite different approaches to this problem. One comes from the mathematically principled technology of signatures and log-signatures as representations for streamed data, while the other draws on the techniques of recurrent neural networks (RNN). The ability of the former to manage high sample rate streams and the latter to manage large scale nonlinear interactions allows hybrid algorithms that are easy to code, quicker to train, and of lower complexity for a given accuracy. We illustrate the approach by approximating the unknown functional as a controlled differential equation. Linear functionals on solutions of controlled differential equations are the natural universal class of functions on data streams. Following this approach, we propose a hybrid Logsig-RNN algorithm that learns functionals on streamed data. By testing on various datasets, i.e. synthetic data, NTU RGB+D 120 skeletal action data, and Chalearn2013 gesture data, our algorithm achieves the outstanding accuracy with superior efficiency and robustness.

연구 동기 및 목표

• 고주파, 다중 모달, 임의의 간격으로 샘플링된 데이터 스트림에서 기능을 학습하는 데 도전하는 것.
• 표준 RNN이 고속도, 비가환성, 또는 극도로 진동성이 높은 데이터 스트림을 처리하는 데 한계를 가지는 문제를 해결하는 것.
• 통제된 미분방정식의 수학적 엄밀함과 RNN의 표현 능력을 조합하여 데이터 스트림의 기능을 위한 통합 모델을 개발하는 것.
• 로그-시그니처 변환을 통해 시간 차원을 감소시켜 훈련 효율성과 강인성을 향상시키는 것.
• 최소한의 데이터 증강 기법을 사용하여 실제 세계의 동작 및 제스처 인식 작업에서 뛰어난 성능을 입증하는 것.

제안 방법

• 고주파 시간 시리즈를 고유한 경로 특성을 유지하면서 저차원의 정보량 많은 표현으로 압축하기 위해 로그-시그니처 변환을 사용한다.
• RNN 이전의 전처리 단계로 로그-시그니처 레이어를 통합하여, 네트워크가 원시 시간 시리즈 샘플 대신 군집화된, 경로에 강인한 특징을 처리할 수 있도록 한다.
• 비가환성 또는 극도로 진동성이 높은 입력 경로에서도 안정성과 정확도를 확보하기 위해 군형 경로 이론을 활용한다.
• 드롭아웃 레이어를 임bedding 및 LSTM 레이어에 적용하여 과적합을 방지하면서, 경사 하강법을 사용해 하이브리드 Logsig-RNN 모델을 엔드 투 엔드로 훈련한다.
• 일관된 일반화를 향상시키기 위해 소규모 회전, 시간 이동, 가우시안 노이즈 등의 데이터 증강 기법을 적용한다.
• LSTM에 입력하기 전에 계층적인 공간-시간 특징을 추출하기 위해 Conv2D, Conv1D 및 로그-시그니처 레이어의 시퀀스를 사용한다.

실험 결과

연구 질문

• RQ1 로그-시그니처 특징은 저차원에서 복잡하고 고주파인 데이터 스트림을 효과적이고 강인하게 표현할 수 있는가?
• RQ2 RNN과 로그-시그니처 특징을 조합함으로써 표준 RNN 대비 기능 학습 작업에서 성능이 어떻게 향상되는가?
• RQ3 Logsig-RNN 모델은 고주파 샘플링, 누락된 데이터 또는 노이즈가 많은 입력에서 정확도와 효율성을 얼마나 유지하는가?
• RQ4 이 하이브리드 모델은 뼈대 시퀀스와 합성 SDE 등 다양한 데이터 모odal 간에 일반화 가능한가?
• RQ5 로그-시그니처의 사용이 수렴 속도를 높이고 모델 복잡도를 낮추면서도 높은 정확도를 유지하는가?

주요 결과

• Logsig-RNN 모델은 NTU RGB+D 120 동작 인식 데이터셋에서 표준 RNN 기준선을 능가하는 최신 기술 수준의 정확도를 달성한다.
• 모델은 누락된 데이터에 대해 뛰어난 강인성을 보이며, 원시 시그니처 특징보다 로그-시그니처 특징이 더 강인한 것으로 입증된다.
• 로그-시그니처 변환에 의한 시간 차원 감소 덕분에 훈련 시간이 크게 단축되어 더 빠른 수렴이 가능하다.
• 표준 RNN이 중간에 증강하거나 다운샘플링하지 않으면서도 고주파 진동성 있는 데이터 스트림에서 성능 유지가 가능하다.
• 최소한의 데이터 증강 기법을 사용하여 클립당 39 프레임만으로 Chalearn2013 제스처 인식에서 뛰어난 성능을 기록한다.
• 이론적 분석을 통해 통제된 미분방정식의 해에 대한 선형 기능은 데이터 스트림의 기능을 위한 유니버설 클래스를 이룬다는 것이 확인되었으며, 이는 모델 설계의 타당성을 뒷받침한다.