[論文レビュー] An Anytime Algorithm for Task and Motion MDPs

Siddharth Srivastava, Nishant Desai+2 more|arXiv (Cornell University)|Feb 16, 2018

Robotic Path Planning Algorithms参考文献 15被引用数 5

ひとこと要約

本論文は、動的抽象化を用いて高レベルの意思決定と低レベルの運動計画を統合する、確率的タスクおよび運動計画問題をマルコフ決定過程（MDP）としてモデル化した、いつでもアルゴリズムを提示する。この手法は、政策の品質を段階的に向上させ、総計算時間の10%のうちに実行結果の90%をカバーする。同時に、確率的完全性を保証するとともに、不確実性下での早期実行を可能にする。

ABSTRACT

Integrated task and motion planning has emerged as a challenging problem in sequential decision making, where a robot needs to compute high-level strategy and low-level motion plans for solving complex tasks. While high-level strategies require decision making over longer time-horizons and scales, their feasibility depends on low-level constraints based upon the geometries and continuous dynamics of the environment. The hybrid nature of this problem makes it difficult to scale; most existing approaches focus on deterministic, fully observable scenarios. We present a new approach where the high-level decision problem occurs in a stochastic setting and can be modeled as a Markov decision process. In contrast to prior efforts, we show that complete MDP policies, or contingent behaviors, can be computed effectively in an anytime fashion. Our algorithm continuously improves the quality of the solution and is guaranteed to be probabilistically complete. We evaluate the performance of our approach on a challenging, realistic test problem: autonomous aircraft inspection. Our results show that we can effectively compute consistent task and motion policies for the most likely execution-time outcomes using only a fraction of the computation required to develop the complete task and motion policy.

研究の動機と目的

• ロボットシステムにおける不確実性下での高レベルのタスク計画と低レベルの運動計画の統合の課題に対処すること。
• 従来のMDPソルバーが高い分岐係数と長い時間枠のために失敗する、非可算状態および行動空間を有するMDPに対するスケーラブルな解決策を開発すること。
• 完全な計算が終了する前でさえも、実行可能な政策を段階的に生成することで、早期実行を可能にすること。
• 現実的で連続的な環境において、計算コストと解の品質のバランスを保ちながら、確率的完全性を確保すること。
• 高レベルMDPと低レベル運動計画を接続する抽象化に基づく階層的モデリングの有効性を示すこと。

提案手法

• タスクおよび運動計画問題を確率的MDPとしてモデル化し、高レベルの行動がバッテリー消費量や軌道の実行可能性といった低レベルの運動計画の精緻化に依存するように定式化する。
• 動的抽象化を用いてMDP表現を簡略化し、高レベルMDPソルバーが抽象化されたモデル上で効率的に動作できるようにする。
• いつでも政策合成を実行するアルゴリズムを採用し、計算時間の増加に応じて政策を継続的に精緻化する。
• 特定の行動のニーズに応じて抽象化を精緻化し、運動計画を用いて実行可能性を評価し、遷移確率を更新する。
• 運動計画の結果をMDPの遷移関数に統合し、高レベルの意思決定がバッテリー消費や衝突回避といった物理的制約を考慮できるようにする。
• 完全な政策計算が終了する前でも実行を開始でき、未解決のシナリオの実行時モニタリングと継続的な精緻化が可能である。

実験結果

リサーチクエスチョン

• RQ1 連続的状態および行動空間を有する確率的MDPに対して、いつでもアルゴリズムが効果的にタスクおよび運動政策を計算できるか。
• RQ2 抽象化されたMDPモデルは、高次元計画問題における計算複雑性を低減しつつ、解の品質をどの程度維持できるか。
• RQ3 最小限の事前計算で、高カバレッジの政策を生成することで、どの程度早期実行を可能にできるか。
• RQ4 アクチュエータおよびセンサの性能に不確実性が生じる状況下で、アルゴリズムが解の品質と計算時間のバランスをどの程度適切に保てるか。
• RQ5 抽象化に基づく精緻化により、物理的制約下でも確率的完全性を保証できるか。

主な発見

• センサおよびアクチュエータのノイズが5%の状況下で、総計算時間の10%のうちに、実行結果の90%をカバーする政策が計算可能である。
• アクチュエータおよびセンサの誤差率が20%の状況下で、計算時間の40%のうちに、実行軌道の約80%をカバーする。
• 5%ノイズのシナリオでは、政策が10秒未満で計算可能であり、優れたいつでも性能を示している。
• アルゴリズムは確率的完全性を有しており、十分な時間が与えられれば、最終的に解が見つかる。
• いつでも性能プロファイルは凹型であり、初期段階の計算で高品質な解が得られ、時間の経過とともに収益の逓減が見られる。
• 完全な政策計算が終了する前でも安全な実行が可能であり、実行時において未解決のシナリオを検出でき、必要に応じて安全状態にフォールバックできる。