[論文レビュー] Recurrent Kalman Networks: Factorized Inference in High-Dimensional Deep Feature Spaces

Philipp Becker, Harit Pandya+4 more|Repository KITopen (Karlsruhe Institute of Technology)|Jan 1, 2019

Neural Networks and Applications被引用数 30

ひとこと要約

この論文は、不確実性を考慮した時系列モデリングのための、エンド・トゥ・エンドのバックプロパゲーションとカルマンフィルタを統合した、深層学習アーキテクチャ「再帰的カルマンネットワーク（RKNs）」を提案する。潜在状態をスカラー演算に因数分解し、局所線形ダイナミクスを用いることで、計算コストの高い行列逆行列計算を回避し、画像補完タスクにおいてLSTMやGRU、最近の生成モデルと比較してより正確な不確実性推定を達成する。

ABSTRACT

In order to integrate uncertainty estimates into deep time-series modelling, Kalman Filters (KFs) (Kalman et al., 1960) have been integrated with deep learning models, however, such approaches typically rely on approximate inference techniques such as variational inference which makes learning more complex and often less scalable due to approximation errors. We propose a new deep approach to Kalman filtering which can be learned directly in an end-to-end manner using backpropagation without additional approximations. Our approach uses a high-dimensional factorized latent state representation for which the Kalman updates simplify to scalar operations and thus avoids hard to backpropagate, computationally heavy and potentially unstable matrix inversions. Moreover, we use locally linear dynamic models to efficiently propagate the latent state to the next time step. The resulting network architecture, which we call Recurrent Kalman Network (RKN), can be used for any time-series data, similar to a LSTM (Hochreiter & Schmidhuber, 1997) but uses an explicit representation of uncertainty. As shown by our experiments, the RKN obtains much more accurate uncertainty estimates than an LSTM or Gated Recurrent Units (GRUs) (Cho et al., 2014) while also showing a slightly improved prediction performance and outperforms various recent generative models on an image imputation task.

研究の動機と目的

• 変分推論などの近似的な推論の限界、例えば学習の複雑化とスケーラビリティの低下を解消すること。
• 潜在状態の因数分解表現により行列逆行列を回避することで、バックプロパゲーションによるカルマンフィルタのエンド・トゥ・エンド学習を可能にすること。
• 予測精度を損なわずに、深層時系列モデルにおける不確実性推定を向上させること。
• 高次元の深層特徴空間における標準カルマンフィルタのスケーラブルで安定した代替手段を開発すること。

提案手法

• RKNは、カルマン更新をスカラー演算に簡略化する高次元の因数分解された潜在状態を用い、バックプロパゲーションの簡素化と不安定な行列逆行列の回避を実現する。
• 局所線形ダイナミクスモデルを採用することで、潜在状態を時間的に効率的に前方に伝搬し、計算複雑度を低減する。
• ネットワークはエンド・トゥ・エンドのバックプロパゲーションにより訓練され、変分推論などの近似手法を用いずにカルマンフィルタのパラメータを直接最適化可能である。
• LSTMと同様に、あらゆる時系列データと互換性を持つように設計されているが、明示的な不確実性表現を備えている。
• 因数分解された状態表現により、スカラー演算を用いた平均および共分散更新の効率的計算が可能である。
• 深層特徴抽出と構造的不確実性伝搬を統合することで、高次元空間における頑健な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 変分推論や近似手法に依存せずに、エンド・トゥ・エンド微分可能な訓練が可能な形でカルマンフィルタを深層学習モデルに統合できるか？
• RQ2 因数分解された潜在状態表現は、高次元の深層特徴空間におけるカルマンフィルタの安定性とスケーラビリティにどのように影響するか？
• RQ3 提案されたRKNアーキテクチャは、LSTM や GRU といった標準RNNと比較して、時系列モデリングにおけるより正確な不確実性推定を提供するか？
• RQ4 画像補完といった生成タスクにおいて、RKNは最先端の生成モデルと比較してどのように性能を発揮するか？
• RQ5 局所線形ダイナミクスの使用は、深層時系列モデルにおける状態伝搬の効率性と正確性を向上させるか？

主な発見

• RKNは、時系列予測タスクにおいてLSTM や GRU よりも顕著に正確な不確実性推定を達成し、予測不確実性の良好なキャリブレーションを示している。
• 標準RNNと比較して、わずかに改善された予測性能を示しており、不確実性を考慮した学習が全体の精度を向上させることを示唆している。
• 画像補完タスクにおいて、RKNはさまざまな最近の生成モデルを上回り、構造的生成と不確実性の両面でその有効性を示している。
• 因数分解された状態表現により、行列逆行列をスカラー演算に置き換えることで、安定的かつ効率的なバックプロパゲーションが可能になり、学習の安定性が向上した。
• エンド・トゥ・エンド微分可能設計により、変分推論などの近似手法を必要とせず、カルマンフィルタのパラメータを直接最適化できる。