[논문 리뷰] Recurrent Kalman Networks: Factorized Inference in High-Dimensional Deep Feature Spaces

Philipp Becker, Harit Pandya외 4명|Repository KITopen (Karlsruhe Institute of Technology)|2019. 01. 01.

Neural Networks and Applications인용 수 30

한 줄 요약

이 논문은 확률적 예측에 적합한 시계열 모델링을 위한 새로운 딥러닝 아키텍처인 순환 칼만 네트워크(RKNs)를 제안한다. RKNs는 백프로파게이션을 통해 엔드투엔드 학습이 가능한 칼만 필터링과 깊이 신경망을 통합하며, 잠재 상태를 스칼라 연산으로 인수분해하고 국소적으로 선형 동역학을 사용함으로써 계산 비용이 높은 행렬 역행렬 계산을 피한다. 이로 인해 이미지 보간 작업에서 LSTMs, GRUs 및 최근의 생성 모델들보다 더 정확한 불확실성 추정을 달성하며 예측 성능도 향상된다.

ABSTRACT

In order to integrate uncertainty estimates into deep time-series modelling, Kalman Filters (KFs) (Kalman et al., 1960) have been integrated with deep learning models, however, such approaches typically rely on approximate inference techniques such as variational inference which makes learning more complex and often less scalable due to approximation errors. We propose a new deep approach to Kalman filtering which can be learned directly in an end-to-end manner using backpropagation without additional approximations. Our approach uses a high-dimensional factorized latent state representation for which the Kalman updates simplify to scalar operations and thus avoids hard to backpropagate, computationally heavy and potentially unstable matrix inversions. Moreover, we use locally linear dynamic models to efficiently propagate the latent state to the next time step. The resulting network architecture, which we call Recurrent Kalman Network (RKN), can be used for any time-series data, similar to a LSTM (Hochreiter & Schmidhuber, 1997) but uses an explicit representation of uncertainty. As shown by our experiments, the RKN obtains much more accurate uncertainty estimates than an LSTM or Gated Recurrent Units (GRUs) (Cho et al., 2014) while also showing a slightly improved prediction performance and outperforms various recent generative models on an image imputation task.

연구 동기 및 목표

• 변분 추론과 같은 근사 추론 기법의 한계를 해결하기 위해, 학습 복잡도 증가와 확장성 저하를 야기하는 변분 추론에 의존하지 않는 방법을 제안한다.
• 잠재 상태 표현을 인수분해하여 행렬 역행렬 계산을 피하고, 백프로파게이션을 통해 칼만 필터의 엔드투엔드 학습을 가능하게 한다.
• 예측 정확도를 저하시키지 않은 채 깊이 신경망 기반 시계열 모델의 불확실성 추정 성능을 향상시키는 것을 목표로 한다.
• 고차원 깊이 특징 공간에서 표준 칼만 필터의 대안으로서 확장 가능하고 안정적인 모델을 개발하는 것.

제안 방법

• RKN은 고차원 인수분해 잠재 상태를 사용하여 칼만 갱신을 스칼라 연산으로 단순화함으로써 백프로파게이션을 용이하게 하고 불안정한 행렬 역행렬 계산을 피한다.
• 국소적으로 선형 동역학 모델을 활용하여 시간에 따라 잠재 상태를 효율적으로 전파함으로써 계산 복잡도를 감소시킨다.
• 백프로파게이션을 통해 엔드투엔드로 학습되며, 변분 추론과 같은 근사 기법 없이도 칼만 필터 매개변수를 직접 최적화할 수 있다.
• LSTM과 유사하게 어떤 시계열 데이터와도 호환되도록 설계되었지만, 명시적인 불확실성 표현을 포함한다.
• 인수분해된 상태 표현 덕분에 평균 및 공분산 갱신을 스칼라 연산으로 효율적으로 계산할 수 있다.
• 딥 특징 추출과 구조화된 불확실성 전파를 통합하여 고차원 공간에서의 강력한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 변분 추론이나 근사 기법에 의존하지 않고, 엔드투엔드 미분 가능한 학습 방식으로 칼만 필터링을 딥러닝 모델에 통합할 수 있는가?
• RQ2 인수분해된 잠재 상태 표현 방식이 고차원 깊이 특징 공간에서 칼만 필터링의 안정성과 확장성에 어떤 영향을 미치는가?
• RQ3 제안된 RKN 아키텍처가 시계열 모델링에서 표준 RNN인 LSTMs와 GRUs보다 더 정확한 불확실성 추정을 제공하는가?
• RQ4 최근의 생성 모델들과 비교해 볼 때, RKN은 이미지 보간과 같은 생성 작업에서 어떤 성능을 보이는가?
• RQ5 국소적으로 선형 동역학의 사용이 깊이 신경망 기반 시계열 모델의 상태 전파 효율성과 정확도를 향상시키는가?

주요 결과

• RKN은 시계열 예측 작업에서 LSTMs와 GRUs보다 유의미하게 더 정확한 불확실성 추정을 달성하며, 예측 불확실성의 보정 성능이 뛰어나다는 것을 입증한다.
• 표준 RNN보다 약간 향상된 예측 성능를 보이며, 이는 불확실성 인식 학습이 전체 정확도를 향상시킨다는 것을 시사한다.
• 이미지 보간 작업에서 RKN은 다양한 최근 생성 모델들을 능가하며, 구조화된 생성 과정에서의 불확실성 처리 효능을 입증한다.
• 인수분해된 상태 표현 덕분에 행렬 역행렬 대신 스칼라 연산을 사용함으로써 안정적이고 효율적인 백프로파게이션을 가능하게 하여 학습 안정성을 향상시킨다.
• 엔드투엔드 미분 가능한 설계 덕분에 변분 추론과 같은 근사 기법 없이도 칼만 필터 매개변수를 직접 최적화할 수 있다.