[論文レビュー] Sparse Gaussian Process Temporal Difference Learning for Marine Robot Navigation

John D. Martin, Jinkun Wang+1 more|arXiv (Cornell University)|Oct 2, 2018

Gaussian Processes and Bayesian Inference被引用数 8

ひとこと要約

本稿では、海洋ロボットのナビゲーションにおけるデータ効率性と予測精度を向上させるスパースガウス過程時系列差分学習手法spgp-sarsaを提案する。反復的でないアプローチに代わり、変分推論を用いた新規なスパース近似を採用することで、最小限のデータでほぼ最適な性能を達成した。実際の水中ロボット実験では、わずか8つの遷移からの学習でほぼ最適な方策を獲得した。

ABSTRACT

We present a method for Temporal Difference (TD) learning that addresses several challenges faced by robots learning to navigate in a marine environment. For improved data efficiency, our method reduces TD updates to Gaussian Process regression. To make predictions amenable to online settings, we introduce a sparse approximation with improved quality over current rejection-based sparse methods. We derive the predictive value function posterior and use the moments to obtain a new algorithm for model-free policy evaluation, SPGP-SARSA. With simple changes, we show SPGP-SARSA can be reduced to a model-based equivalent, SPGP-TD. We perform comprehensive simulation studies and also conduct physical learning trials with an underwater robot. Our results show SPGP-SARSA can outperform the state-of-the-art sparse method, replicate the prediction quality of its exact counterpart, and be applied to solve underwater navigation tasks.

研究の動機と目的

• 限られたセンサデータとオンライン学習の制約により生じるデータ不足の課題に対処すること。
• 時系列差分学習をガウス過程回帰に再定式化することで、モデルフリー方策評価におけるデータ効率性を向上させること。
• データを破棄しないスパース近似法を開発し、既存の低ランク手法と比較して近似誤差を低減すること。
• 計算資源とセンシング能力が限られた水中ロボットに適した、オンラインでリアルタイムに価値関数を予測できる仕組みを実現すること。
• 最小限の学習データで、シミュレーションおよび物理的水中ロボット実験の両方において、本手法の有効性を実証すること。

提案手法

• 価値関数の差分を真の価値関数のノイズ付き観測とモデル化することで、時系列差分学習をガウス過程回帰に再定式化する。
• サポート点の数M（N ≪ M）が小さいスパース擬似入力近似（spgp）を用いることで、計算複雑度をO(N³)からO(NM²)に低減する。
• データを破棄せずにスパース近似を学習できる変分推論フレームワークを導入し、周辺尤度最適化における不安定性を回避する。
• スパースGPからのモーメントを用いて価値関数の予測後立分布を導出することで、不確実性を考慮した方策評価を可能にする。
• GPフレームワーク内での時系列差分更新を用いて価値関数推定を更新するモデルフリー方策評価アルゴリズムspgp-sarsaを開発する。
• 既知の動的特性を組み込むことで、spgp-tdというモデルベースの拡張版を提案し、異なる学習設定への応用範囲を広げる。

実験結果

リサーチクエスチョン

• RQ1 スパースガウス過程回帰は、海洋ロボットナビゲーションの時系列差分学習におけるデータ効率性を向上させることができるか？
• RQ2 提案手法のスパース近似法は、反復的でないスパース化手法と比較して、予測精度と最適化の安定性において優れているか？
• RQ3 本手法は、現実の水中ロボット環境において非常に少数の遷移（例：8回）からのみ学習して、ほぼ最適なナビゲーション方策を獲得できるか？
• RQ4 本手法は、オンラインでリアルタイムに学習するロボットのシナリオにおいて、計算効率が確保されているか？
• RQ5 spgp-sarsaの予測性能は、正確なGP-TDベースラインおよび最先端のスパース手法と比較して優れているか？

主な発見

• spgp-sarsaは、計算効率を維持しつつ、正確なGP-TD手法と同等の予測品質を達成した。
• モデル選択の段階において、最先端のスパース近似手法よりも高い予測精度と安定性を示した。
• 物理的BlueROV実験でわずか8つの遷移からのみ、spgp-sarsaはほぼ最適な価値関数と方策を成功裏に学習した。
• 2.8GHzのi7プロセッサ上での平均方策更新時間は0.013 ± 7×10⁻⁴秒であり、リアルタイム実行の可能性が裏付けられた。
• 変分推論を用いたスパース近似は、反復的でない手法で一般的に見られる周辺尤度の不安定性を回避した。
• 本手法は、水中ロボットのセンサのずれや初期位置の不確実性に対してもロバストであり、現実の制約下でも信頼性のある学習を可能にした。