[논문 리뷰] Learning Scalable Deep Kernels with Recurrent Structure

Maruan Al-Shedivat, Andrew Gordon Wilson외 3명|PubMed|2016. 10. 27.

Gaussian Processes and Bayesian Inference참고 문헌 10인용 수 22

한 줄 요약

이 논문은 순환 구조를 가진 커널을 도출한 LSTMs로부터 유도된 가우시안 프로세스 모델인 GP-LSTM을 제안한다. 이는 확장 가능한, 불확실성 인식이 가능한 순차적 모델링을 가능하게 한다. 커널 파라미터를 증명 가능하게 수렴하는 반-확률적 경사 방법으로 학습하고, 크로네커-순환 구조를 활용함으로써 선형 학습 시간과 일정한 예측 시간을 확보하며 순차적 회귀 과제에서 최고 성능을 달성한다.

ABSTRACT

Many applications in speech, robotics, finance, and biology deal with sequential data, where ordering matters and recurrent structures are common. However, this structure cannot be easily captured by standard kernel functions. To model such structure, we propose expressive closed-form kernel functions for Gaussian processes. The resulting model, GP-LSTM, fully encapsulates the inductive biases of long short-term memory (LSTM) recurrent networks, while retaining the non-parametric probabilistic advantages of Gaussian processes. We learn the properties of the proposed kernels by optimizing the Gaussian process marginal likelihood using a new provably convergent semi-stochastic gradient procedure, and exploit the structure of these kernels for scalable training and prediction. This approach provides a practical representation for Bayesian LSTMs. We demonstrate state-of-the-art performance on several benchmarks, and thoroughly investigate a consequential autonomous driving application, where the predictive uncertainties provided by GP-LSTM are uniquely valuable.

연구 동기 및 목표

• 순차적 데이터에 대한 딥 순환 모델에서의 불확실성 정량화 부족 문제를 해결하기 위해.
• LSTM의 인덕티브 바이어스를 커널 기반의 가우시안 프로세스 프레임워크에 통합하기 위해.
• 구조적 커널 근사법을 사용하여 대규모 순차 데이터셋에 대한 확장 가능한 학습과 예측을 가능하게 하기 위해.
• 순환 커널 파라미터 학습을 위한 증명 가능하게 수렴하는 최적화 절차를 개발하기 위해.
• 자율 주행과 같은 실제 순차 과제에서 최고 성능을 입증하기 위해.

제안 방법

• 장기 단기 기억(LSTM) 네트워크의 인덕티브 바이어스를 완전히 담고 있는 폐쇄형 커널 함수를 제안한다.
• 커널 학습을 위한 목표로 가우시안 프로세스의 주변 가능도를 사용하여 확률적 예측을 가능하게 한다.
• 커널 파라미터 최적화를 위한 수렴 보장을 갖춘 반-확률적 경사 절차를 활용한다.
• 공분산 행렬을 순환 행렬의 크로네커 곱으로 분해하여 O(n)의 학습 및 O(1)의 예측을 실현한다.
• Keras 호환성 있는 가우시안 프로세스 레이어를 통해 딥 러닝 프레임워크에 통합한다.
• 시스템 식별 및 자율 주행 차량 인식과 같은 시퀀스-투-레얼스 회귀 과제에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 모델이 순차적 데이터에 대해 LSTM의 인덕티브 바이어스를 효과적으로 포착할 수 있는가?
• RQ2 순환 GP의 커널 파라미터는 효율적으로 학습되며 수렴 보장이 있는가?
• RQ3 구조적 커널 근사법의 사용이 대규모 순차 데이터셋에서 선형 시간 학습과 일정한 시간 예측을 가능하게 하는가?
• RQ4 자율 주행과 같은 안전이 중요한 응용 분야에서 모델의 예측 불확실성은 성능을 향상시키는가?
• RQ5 제안된 방법은 순차적 회귀 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• GP-LSTM 모델은 시스템 식별, 에너지 예측, 자율 주행 과제를 포함한 여러 순차적 회귀 벤치마크에서 최고 성능을 기록한다.
• 커널 행렬의 크로네커-순환 분해 덕분에 학습 시간이 선형으로 스케일링되고 예측 시간이 일정하다.
• 반-확률적 최적화 절차는 표준 1차 최적화 방법에 비해 실행 시간과 해의 품질을 크게 향상시킨다.
• 자율 주행 응용 분야에서 모델의 예측 불확실성은 더 안전하고 신뢰할 수 있는 차선 추정 및 주행 차량 추적을 가능하게 한다.
• 실제 데이터셋(최대 약 100만 개의 시간 단위)에서 비확률적 딥 러닝 베이스라인에 비해 정확도와 불확실성 캘리브레이션 측면에서 모두 뛰어난 성능을 보인다.
• 코드는 Keras 호환 라이브러리로 공개되어 있으며, 최소한의 수정으로 딥 러닝 파ip라인에 통합할 수 있다.