[논문 리뷰] Computing the untruncated signature kernel as the solution of a Goursat problem

Thomas Cass, James Foster외 3명|arXiv (Cornell University)|2020. 06. 26.

Anomaly Detection Techniques and Applications참고 문헌 15인용 수 2

한 줄 요약

이 논문은 비단절적 서명 커널을 사용한 순차적 데이터에 대한 커널 방법을 제안하며, 이는 단순히 경로의 증분에 의존하는 선형 쌍곡형 편미분방정식(Goursat 문제)의 해로 풀리며, 명시적인 서명 계산 없이도 효율적인 계산이 가능하게 한다. 이 방법은 미분 가능한 경로를 기반으로 한 기하학적 난류 경로로 확장되며, 시간 시리즈 분류와 차원 축소에서 뛰어난 성능을 보인다.

ABSTRACT

Recently there has been an increased interest in the development of kernel methods for learning with sequential data. The truncated signature kernel is a new learning tool designed to handle irregularly sampled, multidimensional data streams. In this article we consider the untruncated signature kernel and show that for paths of bounded variation it is the solution of a Goursat problem. This linear hyperbolic PDE only depends on the increments of the input sequences, doesn't require the explicit computation of signatures and can be solved using any PDE numerical solver; it is a kernel trick for the untruncated signature kernel. In addition, we extend the analysis to the space of geometric rough paths, and establish using classical results from stochastic analysis that the rough version of the untruncated signature kernel solves a rough integral equation analogous to the Goursat problem for the bounded variation case. Finally we empirically demonstrate the effectiveness of this kernel in two data science applications: multivariate time-series classification and dimensionality reduction.

연구 동기 및 목표

• 무한차원 서명으로 인해 계산이 불가능한 비단절적 서명 커널에 대한 효율적인 계산 방법을 개발하기 위해.
• 유계 변동 경로에 대한 비단절적 서명 커널이 선형 쌍곡형 편미분방정식(Goursat 문제)의 해임을 보여주어, 표준 편미분방정식 해법기를 통한 수치적 해법이 가능하도록 하기 위해.
• 확률적 분석을 활용하여 Goursat 공식을 기하학적 난류 경로로 확장하여, 해밀턴 문제의 해와 유사한 난류 적분 방정식을 수립하기 위해.
• 제안된 커널이 다변량 시간 시리즈 분류 및 차원 축소 작업에서 기존 방법보다 뛰어난 성능을 보임을 실증적으로 검증하기 위해.

제안 방법

• 입력 경로의 증분에만 의존하는 선형 쌍곡형 편미분방정식(Goursat 문제)로 비단절적 서명 커널을 수식화하기.
• 표준 수치적 편미분방정식 해법기를 활용하여 무한차원 서명을 직접 계산하지 않고도 커널을 계산하기.
• 고전적인 확률적 분석 결과를 활용하여 Goursat 수식을 기하학적 난류 경로로 확장하여, 해밀턴 문제의 해와 유사한 난류 적분 방정식을 유도하기.
• 유도된 커널을 커널 기반 학습 모델에 적용하여 분류 및 차원 축소 작업을 수행하고, 표준 머신러닝 파ip라인을 사용하기.

실험 결과

연구 질문

• RQ1 비단절적 서명 커널은 명시적인 서명 계산 없이도 효율적으로 계산될 수 있는가?
• RQ2 유계 변동 경로에 대한 비단절적 서명 커널은 Goursat 문제와 같은 알려진 편미분방정식의 해와 동일한가?
• RQ3 이 프레임워크는 유계 변동 경로에서 기하학적 난류 경로로 어떻게 확장될 수 있는가?
• RQ4 제안된 커널은 다변량 시간 시리즈 분류 및 차원 축소에서 기존 방법보다 뛰어난 성능을 보이는가?

주요 결과

• 유계 변동 경로에 대한 비단절적 서명 커널은 수학적으로 Goursat 문제의 해와 동치이며, 이로 인해 효율적인 수치적 계산이 가능해진다.
• 커널 계산은 편미분방정식 해법기를 기반으로 하여 명시적인 서명 평가를 피함으로써 계산 오버헤드를 크게 줄인다.
• 기하학적 난류 경로의 경우, 비단절적 서명 커널은 매끄러운 경우의 Goursat 문제와 유사한 난류 적분 방정식을 만족한다.
• 실증 결과로 커널은 다변량 시간 시리즈 분류 및 차원 축소에서 뛰어난 성능을 보이며 실용적 유용성을 입증한다.