[논문 리뷰] Distribution Regression for Sequential Data

Maud Lemercier, Cristopher Salvi외 3명|arXiv (Cornell University)|2020. 06. 10.

Bayesian Methods and Mixture Models참고 문헌 60인용 수 6

한 줄 요약

이 논문은 확률적 분석에서 유도된 기대 서명을 사용하여 비정규적으로 샘플링된 다변량 시계열을 모델링하기 위해 순차적 데이터에 대한 두 가지 새로운 분포 회귀 방법—특징 기반 및 커널 기반—을 제안한다. 이 방법들은 열역학, 금융, 농업 데이터셋에서 최고 성능을 기록하며, 복잡한 순서 있는 데이터 스트림을 다룰 때 강건성과 일반성을 입증한다.

ABSTRACT

Distribution regression refers to the supervised learning problem where labels are only available for groups of inputs instead of individual inputs. In this paper, we develop a rigorous mathematical framework for distribution regression where inputs are complex data streams. Leveraging properties of the expected signature and a recent signature kernel trick for sequential data from stochastic analysis, we introduce two new learning techniques, one feature-based and the other kernel-based. Each is suited to a different data regime in terms of the number of data streams and the dimensionality of the individual streams. We provide theoretical results on the universality of both approaches and demonstrate empirically their robustness to irregularly sampled multivariate time-series, achieving state-of-the-art performance on both synthetic and real-world examples from thermodynamics, mathematical finance and agricultural science.

연구 동기 및 목표

• 복잡하고 비정규적으로 샘플링된 다변량 시계열에 대한 효과적인 분포 회귀 방법의 부족을 해결하기 위해.
• 데이터 스트림의 집합에서 스칼라 목표로 함수를 학습하기 위한 이론적으로 탄탄한 프레임워크를 개발하기 위해.
• 서명 기반 특징과 커널을 사용하여 경로의 분포에 대한 연속 함수의 보편적 근사 가능성을 보장하기 위해.
• 교환 가능하지 않은 고차원 순차적 데이터를 다룰 수 있는 확장성 있고 강건한 알고리즘을 제공하기 위해.

제안 방법

• 리프시츠 연속 경로의 확률 측도를 위한 보편적 특징 맵으로 길이에 따른 기대 서명을 도입한다.
• 기대 서명과 가우시안 커널을 조합하여 보편적 커널을 구성함으로써 커널 트릭을 통한 커널 기반 학습을 가능하게 한다.
• 비정규적으로 샘플링된 시계열을 바나흐 공간 내 연속 경로로 매핑하기 위해 선형 보간을 사용한다.
• 확률적 분석에서 유도된 서명 이론과 기대 서명 이론을 활용하여 경로의 동적 특성과 순서 의존성을 포착한다.
• 두 가지 서로 다른 학습 제도를 설계함: 많은 수의 저차원 스트림에 적합한 특징 기반, 적은 수의 고차원 스트림에 적합한 커널 기반.
• 시간 시리즈 그룹을 경로에 대한 경험 측도로 표현하여 분포 수준의 회귀를 가능하게 한다.

실험 결과

연구 질문

• RQ1 순서와 비정규 샘플링을 모두 반영할 수 있는 순차적 데이터의 분포에 대한 보편적 특징 맵을 구성할 수 있는가?
• RQ2 기대 서명을 사용하여 경로의 분포에 대한 보편적 커널을 정의할 수 있는가? (커널 기반 학습을 위해)
• RQ3 비정규 샘플링이 있는 시계열에 대한 기존 접근법과 비교해 서명 기반 방법의 분포 회귀 성능은 어떠한가?
• RQ4 다양한 데이터 환경에서 특징 기반과 커널 기반 접근법 간의 확장성과 성능 간 상호 보완적 특성은 어떠한가?
• RQ5 제안된 방법들이 다양한 분야에서의 실제 순차적 데이터에서 최고 성능을 달성할 수 있는가?

주요 결과

• 특징 기반 방법(kes)과 커널 기반 방법(ses)은 모두 합성 및 실제 분포 회귀 작업에서 최고 성능을 기록했다.
• 금융 변동성 데이터셋에서 kes와 ses는 MSE를 각각 0.16 (0.03)과 0.21 (0.05)로 줄였으며, DR-RBF, DR-Matern32, DeepSets를 모두 능가했다.
• 작물 수확량 예측에서 ses는 MSE 0.62 (0.10)과 MAPE 10.98 (1.12)를 기록했으며, 기준 MSE 2.38 (0.60)에 비해 뚜렷이 뛰어난 성능을 보였다.
• kes의 실행 시간은 그룹 크기가 1,000에서 5,000으로 증가함에 따라 약 1분에서 15분으로 증가한 반면, ses는 약 1분으로 안정성을 유지했다.
• 그룹당 시계열 수가 증가할수록 두 방법 모두 성능 향상을 보였으며, 이는 이론적 기대와 일치함을 확인했다.
• 열역학, 금융, 농업 등 다양한 분야에서 비정규 샘플링과 고차원 순차적 입력에 대해 강건한 성능을 보였다.