[논문 리뷰] Rough paths, Signatures and the modelling of functions on streams

Terry Lyons|arXiv (Cornell University)|2014. 05. 18.

Image and Signal Denoising Methods참고 문헌 19인용 수 63

한 줄 요약

이 논문은 스트림 상의 함수를 모델링하기 위한 새로운 프레임워크를 제안하며, rough path 이론과 서명 기반 특징을 활용하여 복잡하고 고주기적인 데이터에 효과적인 기계학습을 가능하게 한다. 서명 변환을 보편적이고 충실한 특징 매핑으로 활용함으로써 경로 법칙에 대한 선형 회귀를 실현하고, 낮은 차수의 서명 성분을 사용하여 시간대별로 금융 시계열을 분류할 때 높은 정확도(AUC > 0.98)를 달성한다.

ABSTRACT

Rough path theory is focused on capturing and making precise the interactions between highly oscillatory and non-linear systems. It draws on the analysis of LC Young and the geometric algebra of KT Chen. The concepts and the uniform estimates, have widespread application and have simplified proofs of basic questions from the large deviation theory and extended Ito's theory of SDEs; the recent applications contribute to (Graham) automated recognition of Chinese handwriting and (Hairer) formulation of appropriate SPDEs to model randomly evolving interfaces. At the heart of the mathematics is the challenge of describing a smooth but potentially highly oscillatory and vector valued path $x_{t}$ parsimoniously so as to effectively predict the response of a nonlinear system such as $dy_{t}=f(y_{t})dx_{t}$, $y_{0}=a$. The Signature is a homomorphism from the monoid of paths into the grouplike elements of a closed tensor algebra. It provides a graduated summary of the path $x$. Hambly and Lyons have shown that this non-commutative transform is faithful for paths of bounded variation up to appropriate null modifications. Among paths of bounded variation with given Signature there is always a unique shortest representative. These graduated summaries or features of a path are at the heart of the definition of a rough path; locally they remove the need to look at the fine structure of the path. Taylor's theorem explains how any smooth function can, locally, be expressed as a linear combination of certain special functions (monomials based at that point). Coordinate iterated integrals form a more subtle algebra of features that can describe a stream or path in an analogous way; they allow a definition of rough path and a natural linear "basis" for functions on streams that can be used for machine learning.

연구 동기 및 목표

• 복잡하고 변화하는 정보 스트림을 요약하고 모델링하기 위한 일반적이고 데이터에 종속되지 않는 방법을 개발하기 위해.
• 고주기적이고 비선형적인 데이터 스트림에서 효과적인 기계학습을 가능하게 하기 위해 rough path 이론과 서명 변환을 적용하기 위해.
• 원시 데이터가 정규화되거나 노이즈 제거된 상태여도 서명 기반 특징이 기능적 회귀와 분류에 필요한 경로 특성을 충분히 포괄할 수 있음을 보여주기 위해.
• 기대 서명과 서명의 특성 함수를 통해 확률적 분석, 기능적 회귀, 기계학습 간의 이론적이고 실용적인 다리를 구축하기 위해.

제안 방법

• 경로의 서명은 스트림의 전체 역사를 점진적이고 대수적으로 구조화된 방식으로 코딩하는 보편적이고 비환원적인 특징 매핑으로 사용된다.
• 좌표 반복 적분을 사용하여 서명을 계산하며, 이는 스트림 상의 함수에 대한 자연스러운 선형 기저를 형성한다.
• 서명 성분에 대해 선형 회귀를 적용하여 경로 상의 함수를 근사하고, LASSO 정규화를 사용하여 유의미한 특징을 선택한다.
• 기대 서명과 서명의 특성 함수를 사용하여 경로의 조건부 법칙을 모델링하고, 경로 분포에 대한 회귀를 가능하게 한다.
• 이 방법은 유한 변동 경로에 대해 서명 변환의 충실도를 활용하며, 세밀한 세부 정보 없이도 경로 효과를 포착할 수 있다.
• 실용적인 파이프라인을 구현: 금융 시계열을 정규화하고, 낮은 차수의 서명 특징을 계산하며, LASSO 정규화된 선형 회귀를 적용하고, ROC, K-S 거리, 분류 정확도를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 서명 변환은 임의의 부드럽고 진동성이 있는 경로에 대해 효과적인 기계학습을 가능하게 하는 보편적이고 충실한 특징 표현으로서 기능할 수 있는가?
• RQ2 서명 성분에 대한 선형 회귀는 금융 시장 패턴과 같은 복잡하고 비선형적인 의존성을 얼마나 잘 포착할 수 있는가?
• RQ3 정규화를 통해 볼륨과 변동성 영향을 제거한 후에도 서명 기반 특징은 금융 데이터의 다양한 시간적 제도 간을 얼마나 잘 구분할 수 있는가?
• RQ4 기대 서명은 주어진 다른 경로에 따라 경로의 조건부 법칙에 대해 실용적이고 저차원적인 근사치를 제공할 수 있는가?
• RQ5 고차원적이고 노이즈가 많으며 마르코프가 아닌 데이터 스트림을 포함한 실제 분류 과제에서 서명 기반 모델의 성능은 어떠한가?

주요 결과

• 검증 데이터에서 콜모고로프-스미르노프 거리는 0.84를 기록하여 시간 버킷 간 강력한 분리가 이루어졌음을 나타낸다.
• 검증 데이터에서 ROC 곡선 아래 면적은 0.986에 도달하여 뛰어난 분류 성능을 입증한다.
• 검증 데이터에서 정확한 분류 정확도는 89%였으며, 이는 강력한 일반화 성능을 확인한다.
• LASSO 기반 특징 선택은 2차원 투영에서 시간 버킷 간 명확한 분리가 이루어지도록 하는 소수의 서명 성분을 식별했다.
• 기대 서명과 서명의 특성 함수는 경로의 법칙을 특징짓는 데 성공했으며, 경로 분포에 대한 선형 회귀를 가능하게 했다.
• 서명 변환은 유한 변동 경로에 대해 충실한 표현으로 밝혀졌으며, 각 서명에 대해 유일한 가장 짧은 대표 요소가 존재한다.