[論文レビュー] ARES: Adaptive Receding-Horizon Synthesis of Optimal Plans

Anna Lukina, Lukas Esterle+6 more|arXiv (Cornell University)|Dec 21, 2016

Reinforcement Learning in Robotics参考文献 27被引用数 6

ひとこと要約

ARES は、動的に調整された予測範囲長と集団サイズを用いた粒子群最適化（PSO）を用いて、マルコフ決定過程（MDP）の最適な計画を合成する適応的リコイル予測ホライズンアルゴリズムである。重要度スプリットにインspiredされたレベルベースのウェイポイントを活用することで収束を保証し、7羽の鳥の群れに対してVフォーメーション計画を生成する際、平均63秒で95％の成功率を達成する。

ABSTRACT

We introduce ARES, an efficient approximation algorithm for generating optimal plans (action sequences) that take an initial state of a Markov Decision Process (MDP) to a state whose cost is below a specified (convergence) threshold. ARES uses Particle Swarm Optimization, with adaptive sizing for both the receding horizon and the particle swarm. Inspired by Importance Splitting, the length of the horizon and the number of particles are chosen such that at least one particle reaches a next-level state, that is, a state where the cost decreases by a required delta from the previous-level state. The level relation on states and the plans constructed by ARES implicitly define a Lyapunov function and an optimal policy, respectively, both of which could be explicitly generated by applying ARES to all states of the MDP, up to some topological equivalence relation. We also assess the effectiveness of ARES by statistically evaluating its rate of success in generating optimal plans. The ARES algorithm resulted from our desire to clarify if flying in V-formation is a flocking policy that optimizes energy conservation, clear view, and velocity alignment. That is, we were interested to see if one could find optimal plans that bring a flock from an arbitrary initial state to a state exhibiting a single connected V-formation. For flocks with 7 birds, ARES is able to generate a plan that leads to a V-formation in 95% of the 8,000 random initial configurations within 63 seconds, on average. ARES can also be easily customized into a model-predictive controller (MPC) with an adaptive receding horizon and statistical guarantees of convergence. To the best of our knowledge, our adaptive-sizing approach is the first to provide convergence guarantees in receding-horizon techniques.

研究の動機と目的

• 目標コスト閾値に収束するスケーラブルで適応的なMDPにおける最適な行動シーケンスの合成のためのアルゴリズムの開発。
• 固定ホライズンのモデル予測制御（MPC）の限界、特に収束保証の欠如と部分最適なウィンドウサイズの問題を解決すること。
• 重要度スプリットを統合し、階層的なコストレベルを通じて最適化を誘導することで、最適化の収束を強固に保証すること。
• バードフロッグやドローンスワームなどの複雑な力学的システムにおけるリアルタイムでオンラインのポリシー合成を可能にすること。
• レベルベースの状態進行を通じて、統計的収束保証と暗黙のリャプノフ関数の構築を提供すること。

提案手法

• ARES は、状態を目標閾値に近づくコストレベルに段階的に分割するレベルベースのリコイル予測ホライズンフレームワークを用いる。
• 到達困難度に応じて、次に近づくコストレベルに到達するための計画ホライズン長とPSOにおける粒子数を動的に増加させる。
• 各レベルは、直前のレベルから所定のデルタ分コストが低下した状態に対応し、目標への進行を保証する。
• PSO を各レベルで実行し、コスト低減の度合いに応じたフィットネスに基づいて候補行動シーケンスを生成する。
• レベル構造を通じて暗黙のリャプノフ関数を定義し、最適ポリシーを構築された計画から得る。
• ホライズン長と集団サイズを動的に調整することで、統計的収束保証付きのモデル予測制御に ARES を変換可能である。

実験結果

リサーチクエスチョン

• RQ1 事前に最適なホライズン長を知らなくても、PSO を用いた適応的リコイル予測ホライズンアプローチが、MDP計画において収束を保証できるか。
• RQ2 複雑なMDPにおいて、効率と成功確率のバランスを取るために、計画ホライズン長と粒子数をどのように適応的に調整できるか。
• RQ3 重要度スプリットに由来するレベルベースのウェイポイントは、最適計画合成における局所最適解の回避にPSOの性能を向上させられるか。
• RQ4 ARES は、バードフロッグやドローンスワームなどの実世界のシステムに対して、統計的信頼性をもって最適計画を生成できるか。
• RQ5 ARES のレベルベース構造から、暗黙のリャプノフ関数と最適ポリシーを明示的に回復できるか。

主な発見

• 7羽の鳥の群れにおいて、8,000回のランダムな初期状態設定のうち95％で、ARES は最適なVフォーメーション計画を正常に生成した。
• 1回の計画生成の平均実行時間はわずか63秒であり、高い計算効率を示した。
• コストレベルの進行に基づく適応的ホライズン長と集団サイズの調整により、ARES は収束保証を達成した。
• レベルベース構造により暗黙のリャプノフ関数が定義され、低コスト状態への安定的かつ収束的到達が保証された。
• 固定ホライズンMPCに比べ、局所最適解を回避するための計画深度と粒子数の動的調整により、性能が優れた。
• 統計的収束保証付きのリアルタイムモデル予測制御に ARES を拡張可能である。