[論文レビュー] Learning Scalable Deep Kernels with Recurrent Structure

Maruan Al-Shedivat, Andrew Gordon Wilson+3 more|PubMed|Oct 27, 2016

Gaussian Processes and Bayesian Inference参考文献 10被引用数 22

ひとこと要約

本稿では、LSTMから導出された再帰的カーネル構造を備えたガウス過程モデルであるGP-LSTMを提案する。このモデルはスケーラブルで不確実性を考慮した時系列モデリングを可能にし、証明可能に収束する半確率的勾配法によりカーネルパラメータを学習し、Kronecker-巡回構造を活用することで、線形の学習時間と定数時間の予測を実現する。

ABSTRACT

Many applications in speech, robotics, finance, and biology deal with sequential data, where ordering matters and recurrent structures are common. However, this structure cannot be easily captured by standard kernel functions. To model such structure, we propose expressive closed-form kernel functions for Gaussian processes. The resulting model, GP-LSTM, fully encapsulates the inductive biases of long short-term memory (LSTM) recurrent networks, while retaining the non-parametric probabilistic advantages of Gaussian processes. We learn the properties of the proposed kernels by optimizing the Gaussian process marginal likelihood using a new provably convergent semi-stochastic gradient procedure, and exploit the structure of these kernels for scalable training and prediction. This approach provides a practical representation for Bayesian LSTMs. We demonstrate state-of-the-art performance on several benchmarks, and thoroughly investigate a consequential autonomous driving application, where the predictive uncertainties provided by GP-LSTM are uniquely valuable.

研究の動機と目的

• 時系列データに対する深層再帰モデルにおける不確実性の定量化の欠如に対処すること。
• LSTMの帰納的バイアスをカーネルベースのガウス過程フレームワークに組み込むこと。
• 構造的カーネル近似を用いて、大規模な時系列データセットに対するスケーラブルな学習と予測を可能にすること。
• 再帰的カーネルパラメータを学習するための証明可能に収束する最適化手順を開発すること。
• 自律走行車両などの実世界の時系列タスクにおいて、最先端のパフォーマンスを示すこと。

提案手法

• 長短記憶（LSTM）ネットワークの帰納的バイアスを完全に反映する閉形式のカーネル関数を提案する。
• カーネル学習の目的関数としてガウス過程の周辺尤度を用い、確率的予測を可能にする。
• カーネルパラメータ最適化に収束保証のある半確率的勾配手順を採用する。
• 共分散行列を巡回行列のKronecker積に分解することで代数的構造を活用し、学習時間O(n)、予測時間O(1)を実現する。
• Keras互換のガウス過程レイヤーを介してディープラーニングフレームワークに統合する。
• システム同定や自律走行車両の認識といった、シーケンスから実数への回帰タスクにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程モデルは、時系列データに対するLSTMの帰納的バイアスを効果的に捉えることができるか？
• RQ2 再帰的GPのカーネルパラメータは、効率的かつ収束保証付きで学習可能か？
• RQ3 構造的カーネル近似の使用により、大規模な時系列データセット上で線形時間の学習と定数時間の予測が可能になるか？
• RQ4 自律走行車両のような安全が求められる応用において、モデルの予測不確実性は性能向上に寄与するか？
• RQ5 提案手法は、時系列回帰ベンチマークで最先端のパフォーマンスを達成できるか？

主な発見

• GP-LSTMモデルは、システム同定、エネルギー予測、自律走行車両タスクを含む、多数の時系列回帰ベンチマークで最先端のパフォーマンスを達成した。
• カーネル行列のKronecker-巡回分解のおかげで、学習時間の線形スケーリングと定数時間の予測が実現された。
• 半確率的最適化手順は、標準的な一次順化手法と比較して、実行時間と解の品質の両方を顕著に改善した。
• 自律走行車両の応用では、モデルの予測不確実性が、より安全で信頼性の高いレーン推定と先行車両追跡を可能にした。
• 実世界のデータセット（最大約100万時系列ステップまで）において、非確率的ディープラーニングベースラインと比較して、精度と不確実性のキャリブレーションの両面で優れた性能を示した。
• コードはKeras互換のライブラリとして公開され、最小限の変更でディープラーニングパイプラインに統合可能となった。