[논문 리뷰] Learning from the past, predicting the statistics for the future, learning an evolving system

Daniel Levin, Terry Lyons외 1명|arXiv (Cornell University)|2013. 09. 01.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 66

한 줄 요약

이 논문은 경로의 서명—粗糙한 경로 이론에서 유도된 보편적 특징 집합—을 사용하여 스트리밍 데이터에 대한 새로운 비모수적 회귀 프레임워크를 제안한다. 서명을 잘라내어 선형 특징에 비해 증명 가능한 우수한 차원 축소를 달성함으로써, 복잡하고 고주기적인 시스템을 매우 낮은 계산 비용으로 정확하게 예측할 수 있으며, 특히 스케일이 클수록 가우시안 프로세스에 비해 뛰어난 성능을 보인다.

ABSTRACT

We bring the theory of rough paths to the study of non-parametric statistics on streamed data. We discuss the problem of regression where the input variable is a stream of information, and the dependent response is also (potentially) a stream. A certain graded feature set of a stream, known in the rough path literature as the signature, has a universality that allows formally, linear regression to be used to characterise the functional relationship between independent explanatory variables and the conditional distribution of the dependent response. This approach, via linear regression on the signature of the stream, is almost totally general, and yet it still allows explicit computation. The grading allows truncation of the feature set and so leads to an efficient local description for streams (rough paths). In the statistical context this method offers potentially significant, even transformational dimension reduction. By way of illustration, our approach is applied to stationary time series including the familiar AR model and ARCH model. In the numerical examples we examined, our predictions achieve similar accuracy to the Gaussian Process (GP) approach with much lower computational cost especially when the sample size is large.

연구 동기 및 목표

• 실시간 응용 프로그램에서 고주기적인 데이터 스트림의 영향을 효율적으로 모델링하고 예측하는 데 도전하는 것.
• 기존의 샘플링 및 선형 특징 추출 방법의 한계를 극복하여, 확률적 시스템에서 중요한 경로 의존 동역학을 포착하지 못하는 문제를 해결하는 것.
• 데이터 스트림에 대해 강력한 회귀 및 통계적 예측을 가능하게 하는 보편적 비모수적 특징 표현을 개발하는 것.
• 서명 기반 접근법이 예측 정확도는 유사하게 유지하면서도 계산 효율성이 가우시안 프로세스를 뛰어넘는다는 것을 입증하는 것.
• 재무, 신호 처리 및 확률적 동역학 분야에서 변화하는 시스템을 모델링하기 위한 이론적으로 탄탄하고 계산적으로 효율적인 프레임워크를 제공하는 것.

제안 방법

• 논문은 데이터 스트림의 반복적 적분에서 유도된 계층적 비선형 특징 집합인 경로의 서명을 사용하여 스트리밍 데이터의 주요 표현으로 삼는다.
• 서명은 텐서의 셔플 곱을 통해 구성되며, 시간 간격 동안 경로의 전체 비선형 상호작용 구조를 포착한다.
• 유한 수준에서 서명을 잘라내어 예측 능력을 유지하면서도 저차원이지만 보편적인 경로 요약을 제공한다.
• 서명의 유일성과 소수의 변화에 대한 안정성을 보장하기 위해 거친 경로 이론의 확장 정리를 활용한다.
• 입력 스트림에 따라 반응 변수의 조건부 분포를 모델링하기 위해 잘라낸 서명 특징에 선형 회귀를 적용한다.
• AR 및 ARCH 유형의 시계열에서의 수치 실험을 통해 가우시안 프로세스 회귀와의 성능 비교를 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 거친 경로 이론에서 유도된 비선형 보편적 특징 집합이 고주기적인 데이터 스트림의 영향을 예측하는 데 선형 특징 집합보다 뛰어난 성능을 보일 수 있는가?
• RQ2 서명 기반 특징 표현은 예측 정확도를 유지하면서 스트리밍 데이터의 차원을 얼마나 줄일 수 있는가?
• RQ3 대규모 스트리밍 환경에서 서명 기반 회귀의 계산 효율성은 가우시안 프로세스 회귀와 비교해 어떻게 되는가?
• RQ4 서명 기반 방법은 AR 및 ARCH 과정과 같은 비-마르코프, 경로 의존 동역학을 효과적으로 모델링할 수 있는가?
• RQ5 기존의 샘플링 방법이 실패하는 상황에서도 서명은 제어 시스템에 대한 데이터 스트림의 영향을 예측하기 위한 충분통계량이 될 수 있는가?

주요 결과

• 서명 기반 방법은 동일한 데이터에서 가우시안 프로세스와 유사한 예측 정확도를 달성하며, 특히 가우시안 프로세스 프레임워크와 일치하는 설정에서 뛰어난 성능을 보인다.
• 유사한 정확도를 유지하면서도 서명 기반 방법은 표본 크기가 증가할수록 특히 계산 비용이 크게 낮아져 확장성이 뛰어나다.
• 서명의 내재된 비선형성 덕분에 선형 특징 집합에 비해 예측 효율성이 수십 배에서 수백 배 이상 향상된다.
• 수치 예제에서 서명 기반 접근법은 Poly-AR 및 Mixture-of-Poly-AR 모델의 비선형 의존성을 성공적으로 포착하였으며, 고차수 경로 상호작용에 대한 비영인 계수를 식별하였다.
• 서명의 보편성 덕분에 유한한 $ p $-변동성을 가진 임의의 연속 경로를 표현할 수 있어, 경로 의존 예측을 위한 강력하고 일반적인 특징 집합이 된다.
• 이론적으로 거친 경로 이론에 기반한 접근법으로, 서명은 제어 시스템에 대한 전체 경로 효과를 포괄하는 고유한 유한 차원 요약으로 기능한다.