[論文レビュー] Model-Based Planning with Discrete and Continuous Actions

Mikael Henaff, WILLIAM F. WHITNEY+1 more|arXiv (Cornell University)|May 19, 2017

Robotic Path Planning Algorithms参考文献 25被引用数 24

ひとこと要約

本論文では、単体上での離散的アクションの再パrameter化と、前方モデル学習時の入力ノイズの導入により、離散的および連続的アクション空間の両方に対して統一的な勾配ベースの計画手法を提案する。この手法により、離散的設定でも効率的かつ微分可能に計画が可能となり、連続的制御とシームレスに統合できる。ハイブリッドアクション空間タスクにおいて、モデルフリー強化学習を上回り、ポリシー蒸留により高速な推論を実現する。

ABSTRACT

Action planning using learned and differentiable forward models of the world is a general approach which has a number of desirable properties, including improved sample complexity over model-free RL methods, reuse of learned models across different tasks, and the ability to perform efficient gradient-based optimization in continuous action spaces. However, this approach does not apply straightforwardly when the action space is discrete. In this work, we show that it is in fact possible to effectively perform planning via backprop in discrete action spaces, using a simple paramaterization of the actions vectors on the simplex combined with input noise when training the forward model. Our experiments show that this approach can match or outperform model-free RL and discrete planning methods on gridworld navigation tasks in terms of performance and/or planning time while using limited environment interactions, and can additionally be used to perform model-based control in a challenging new task where the action space combines discrete and continuous actions. We furthermore propose a policy distillation approach which yields a fast policy network which can be used at inference time, removing the need for an iterative planning procedure.

研究の動機と目的

• 従来、微分可能最適化に抵抗する傾向がある離散的アクション空間における勾配ベースの計画を可能にすること。
• 単一の微分可能フレームワークを用いて、離散的および連続的アクションの計画を統合すること。
• 高品質な軌道を高速なフィードフォワードポリシーに蒸留することで、モデルベース計画における推論時間を短縮すること。
• ナビゲーション（連続的）とシグナリング（離散的）の両方を含む挑戦的なハイブリッドアクション空間環境での評価を行うこと。
• 複雑な制御タスクにおいて、モデルフリー強化学習を上回るサンプル効率とパフォーマンス向上を実証すること。

提案手法

• 離散的アクションを単体上での確率ベクトルに再パラメータ化することで、勾配計算を可能にする。
• 離散的アクションの勾配安定化のため、前方モデル学習時に入力ノイズを導入する。
• 学習済み前方モデルを逆伝播することで、勾配降下法を用いてアクションシーケンスを最適化する。
• 反復的勾配ベース計画によって生成された高品質な軌道を模倣するフィードフォワードポリシー・ネットワークを訓練する。
• 追加の環境インタラクションを必要とせず、前方モデルからの合成軌道を用いてポリシー蒸留を実施する。
• 連続的推力制御と離散的シグナリングアクションを、単一の統一された計画・制御フレームワークで統合する。

実験結果

リサーチクエスチョン

• RQ1 微分可能再パラメータ化を用いることで、勾配ベース計画を離散的アクション空間に効果的に適用できるか？
• RQ2 離散的アクションタスクにおいて、勾配ベース計画の性能は、木探索やモデルフリー強化学習と比べてどうか？
• RQ3 同じ微分可能フレームワークが、離散的および連続的アクションを組み合わせたハイブリッドアクション空間を処理できるか？
• RQ4 ポリシー蒸留は、計画の品質を維持したまま推論時間を顕著に短縮できるか？
• RQ5 複雑な環境において、最小限の環境インタラクションで高いパフォーマンスを達成できるか？

主な発見

• 提案手法は、Spaceshipタスクで平均報酬12.2を達成し、A2Cベースラインの-19.2を著しく上回った。
• GBP（勾配ベース計画）は報酬11.1を達成したが、1回の推論に0.19秒を要した。一方、DistGBPは12.2の報酬を達成し、わずか0.01秒で推論が完了し、19倍の高速化を実現した。
• DistGBPエージェントは、惑星の重力場を避ける行動、ウェイポイントへのナビゲーション、正しい色信号の発信を学習しており、離散的および連続的アクションの共同最適化を実証した。
• 前方モデルはランダムロールアウトによるたった10,000エピソードの学習で訓練されたため、高いサンプル効率を示した。
• ポリシー蒸留により、反復的計画を必要としない高速な推論が可能となり、リアルタイム応用に適した手法となった。
• グリッドワールドナビゲーションタスクにおいて、性能と計画速度の両面で強力なベースラインを同等または上回った。