[논문 리뷰] A scalable end-to-end Gaussian process adapter for irregularly sampled time series classification

Steven Cheng-Xian Li, Benjamin M. Marlin|arXiv (Cornell University)|2016. 06. 14.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 13

한 줄 요약

이 논문은 근사 GP 회귀를 사용하여 희박하고 비균일한 데이터를 불확실성 인식 표현으로 변환함으로써, 비균일하게 샘플링된 시계열 데이터를 분류하기 위한 확장성 있고 엔드 투 엔드인 가우시안 프로세스 어댑터를 제안한다. 구조적 커널 보간과 랭크조스 기반 행렬 근사 기법을 결합함으로써, 기울기 기반 분류기와 함께 미분 가능한 훈련을 가능하게 하여 uWave와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a general framework for classification of sparse and irregularly-sampled time series. The properties of such time series can result in substantial uncertainty about the values of the underlying temporal processes, while making the data difficult to deal with using standard classification methods that assume fixed-dimensional feature spaces. To address these challenges, we propose an uncertainty-aware classification framework based on a special computational layer we refer to as the Gaussian process adapter that can connect irregularly sampled time series data to any black-box classifier learnable using gradient descent. We show how to scale up the required computations based on combining the structured kernel interpolation framework and the Lanczos approximation method, and how to discriminatively train the Gaussian process adapter in combination with a number of classifiers end-to-end using backpropagation.

연구 동기 및 목표

• 고정된 차원 특징 공간이 없고 희박한 관측으로 인해 높은 불확실성을 지닌 희박하고 비균일하게 샘플링된 시계열 분류의 과제를 해결한다.
• 크기가 큰 설정에서 정확한 가우시안 프로세스 회귀가 계산적으로 불가능한 문제를 해결한다. 이는 O(n³)의 복잡도를 가지며 장수열에 대해 금기된다.
• 모든 기울기 기반 학습 가능한 분류기와 통신이 가능한, 미분 가능한 불확실성 인식 표현 레이어를 개발함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• m 유도점으로 O(n)과 O(m log m)의 시간 및 공간 복잡도로 감소시키는 효율적 근사 기법을 통해 확장 가능한 추론과 훈련을 가능하게 한다.
• 마진형 우도 최대화 또는 평균 값 전용 기반 모델 대비, GP 어댑터의 판별적 미세조정이 분류 정확도를 향상시킨다는 것을 입증한다.

제안 방법

• 비균일한 시계열을 고정된 차원의 불확실성 인식 표현으로 매핑하는 미분 가능한 계산 레이어로 가우시안 프로세스 어댑터를 도입하며, 기준 시간점에서의 사후 GP 평균과 공분산을 활용한다.
• 구조적 커널 보간(SKI)을 사용하여 GP 공분산 행렬을 근사함으로써, 정확한 GP 추론의 O(n³) 비용을 m 유도점으로 O(n)으로 감소시킨다.
• Lanczos 방법을 적용하여 사후 GP에서 샘플링에 필요한 행렬 함수를 효율적으로 근사함으로써, 빠르고 미분 가능한 샘플링을 가능하게 한다.
• 기울기 역전파를 반복적 Lanczos 과정을 통해 수행함으로써 GP 어댑터를 딥 러닝 파이프라인에 통합함으로써, GP 하이퍼파rameter와 분류기 가중치의 공동 최적화를 가능하게 한다.
• 지수 변환을 사용하여 GP 커널 하이퍼파rameter(예: 길이 척도, 진폭, 노이즈 분산)를 재구성함으로써 최적화 도중 양수성을 보장한다.
• 검증 성능 기반 조기 정지 전략을 사용하여, Nesterov 모멘텀을 적용한 확률적 경사 하강법으로 전체 시스템을 훈련한다.

실험 결과

연구 질문

• RQ1 비균일하게 샘플링된 시계열 데이터에 대해 엔드 투 엔드 훈련이 가능한, 미분 가능한 불확실성 인식 표현 레이어를 구성할 수 있는가?
• RQ2 GP 기반 표현 학습의 계산 비용을 어떻게 줄여 장수열이나 대규모 시계열로 확장할 수 있는가?
• RQ3 기존 방법(예: 마진형 우도 최대화 또는 평균 값 전용)에 비해, GP 어댑터의 엔드 투 엔드 판별적 훈련이 성능을 더 좋게 하는가?
• RQ4 GP 사후 분포의 불확실성 통합이 결정론적 기반 모델 대비 분류 정확도 향상에 얼마나 기여하는가?
• RQ5 SKI와 랭크조스 기반 샘플링과 같은 근사 기법이 실질적인 추론 속도와 모델 성능에 어떤 영향을 미치는가?

주요 결과

• CNN과 함께 GP 어댑터의 엔드 투 엔드 판별적 훈련이 uWave 데이터셋에서 91.41%의 정확도를 달성하여, UAC 프레임워크를 사용한 다음으로 좋은 방법(88.17%)을 크게 능가했다.
• 불확실성 인식 샘플링(UAC)을 사용한 GP 어댑터는 로지스틱 회귀에서 평균 값 예측(IMP) 대비 1.22% 향상, MLP에서는 1.46%, ConvNet에서는 2.23% 향상된 정확도를 기록했다.
• 제안된 근사 기법은 정확한 GP 샘플링 대비 1에서 3계단의 속도 향상을 달성했으며, 특히 더 긴 시계열에서 가장 큰 성과를 보였다.
• Lanczos 과정을 통한 역전파가 가능하고 효과적이었지만, Lanczos 벡터의 순환적 의존성으로 인해 역전파가 순방향 전파보다 더 비쌌다.
• MEG 커널을 GP 어댑터를 통해 구현한 결과, 엔드 투 엔드 훈련으로 86.61%의 정확도를 달성하여, 독립적인 마진형 우도 버전을 능가했다.
• 깊이 있는 모델(예: ConvNet)은 불확실성 인식 훈련에서 가장 큰 이점을 얻었으며, 이는 희박한 환경에서 복잡한 아키텍처가 불확실성 모델링으로부터 더 많은 이점을 얻는다는 것을 시사한다.