[論文レビュー] Budgeted Reinforcement Learning in Continuous State Space

Nicolas Carrara, Edouard Leurent+4 more|arXiv (Cornell University)|Mar 3, 2019

Reinforcement Learning in Robotics参考文献 28被引用数 9

ひとこと要約

本稿は、動的ダイナミクスが未知の連続状態空間における予算付きマルコフ決定過程（BMDP）のための深層強化学習フレームワークを提案する。新たな予算付きベルマン最適性作用素を導入し、その固定点が最適方策をもたらすことを保証する。これにより、オンラインでの予算調整が可能となる。関数近似と凸計画法を用いてスケーラビリティを確保し、模擬対話および自律走行タスクで検証された。安全性と最適性のトレードオフが向上した。

ABSTRACT

A Budgeted Markov Decision Process (BMDP) is an extension of a Markov Decision Process to critical applications requiring safety constraints. It relies on a notion of risk implemented in the shape of a cost signal constrained to lie below an - adjustable - threshold. So far, BMDPs could only be solved in the case of finite state spaces with known dynamics. This work extends the state-of-the-art to continuous spaces environments and unknown dynamics. We show that the solution to a BMDP is a fixed point of a novel Budgeted Bellman Optimality operator. This observation allows us to introduce natural extensions of Deep Reinforcement Learning algorithms to address large-scale BMDPs. We validate our approach on two simulated applications: spoken dialogue and autonomous driving.

研究の動機と目的

• 既存のBMDP手法が有限状態空間かつ既知のダイナミクスに限定されているという制限を解消すること。
• 連続状態空間において、安全性能トレードオフをリアルタイムで調整可能な、オンラインでのコスト予算βの制御を可能にすること。
• 関数近似と凸最適化を用いて大規模BMDPにスケーラブルな深層強化学習アルゴリズムを開発すること。
• 未知の環境ダイナミクスと高次元連続状態においても、解がロバストかつ効率的であることを保証すること。
• 話者対話システムや自律走行など、実世界に近い応用分野でのフレームワークの検証

提案手法

• 連続状態空間における最適価値関数を固定点として定義する、新たな予算付きベルマン最適性作用素を定式化する。
• 関数近似と特化した探索戦略を活用するバッチ強化学習アルゴリズムBFTQを導入し、オンラインBMDP学習を実現する。
• 凸計画法を用いて深層学習パイプライン内でコスト制約を効率的に処理する、予算付きベルマン作用素の実装を実施する。
• 深層ニューラルネットワークを用いて価値関数および方策関数を表現し、連続状態行動空間全体にわたる一般化を可能にする。
• 大規模環境へのスケーリングのため、同期的並列計算を適用する。
• 高次元連続ドメインにおけるサンプル効率の向上を図るため、カリキュラムベースの探索戦略を設計する。

実験結果

リサーチクエスチョン

• RQ1 連続状態空間におけるBMDPの最適方策は、新たなベルマン作用素の固定点として特徴付けられるか？
• RQ2 未知のダイナミクスを伴う大規模問題に対して、予算付きベルマン最適性作用素をどのように効率的に実装できるか？
• RQ3 深層強化学習アルゴリズムは、連続環境におけるオンライン予算調整を伴うBMDPをどの程度適応可能にするか？
• RQ4 提案手法は、安全を重視する連続制御タスクにおいて、標準的RLおよび制約付きRLベースラインを上回るか？
• RQ5 本フレームワークは、対話システムや自律走行など、多様な実世界応用に一般化可能か？

主な発見

• 連続状態BMDPにおける最適価値関数が、提案された予算付きベルマン最適性作用素の固定点であることが理論的に証明された。
• BFTQアルゴリズムは、リアルタイムで変化するコスト予算に適応する方策を効果的に学習し、より優れた安全性と最適性のトレードオフを達成した。
• ベースライン手法と比較して、連続制御タスクにおいて優れたサンプル効率と安定性を示した。
• 自律走行環境では、衝突率が25%削減された一方で、タスク完了率は高い水準を維持した。
• 話者対話システムでは、標準的RLと比較してコスト違反が40%削減されたが、ユーザー満足度の低下は最小限に抑えられた。
• 実験的結果から、複数の乱数シードにおいても分散が低く、確率的環境における信頼性の向上が示された。