[論文レビュー] Pushing Fast and Slow: Task-Adaptive Planning for Non-prehensile Manipulation Under Uncertainty

Wisdom C. Agboh, Mehmet R. Doğar|arXiv (Cornell University)|May 8, 2018

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、タスクの正確性要件と不確実性に応じて、高速かつ低速のプッシュ行動の間で動的に切り替える非捕捉的操作のためのタスク適応型計画・制御フレームワークを提案する。問題を行動依存の確率的MDPとしてモデル化し、行動選択を軌道最適化器がガイドすることで、標準のMPCに比べて著しく短時間でより高い成功確率を達成する。特に、低精度タスクにおいて顕著である。

ABSTRACT

We propose a planning and control approach to physics-based manipulation. The key feature of the algorithm is that it can adapt to the accuracy requirements of a task, by slowing down and generating `careful' motion when the task requires high accuracy, and by speeding up and moving fast when the task tolerates inaccuracy. We formulate the problem as an MDP with action-dependent stochasticity and propose an approximate online solution to it. We use a trajectory optimizer with a deterministic model to suggest promising actions to the MDP, to reduce computation time spent on evaluating different actions. We conducted experiments in simulation and on a real robotic system. Our results show that with a task-adaptive planning and control approach, a robot can choose fast or slow actions depending on the task accuracy and uncertainty level. The robot makes these decisions online and is able to maintain high success rates while completing manipulation tasks as fast as possible.

研究の動機と目的

• 不確実性に強いタスクに適した方法として、従来の非捕捉的操作手法が単に低速で準静的プッシュに依存するという限界を解消すること。
• タスク固有の正確性要件に基づき、自動的に高速で不確実性の高い行動と、低速で正確な行動の間を切り替えるロボットの能力を実現すること。
• 行動依存の不確実性を有する確率的MDPのオンライン近似解法を構築し、リアルタイムで速度と正確性のバランスをとること。
• 物理ベースの予測のコストが高いため、確率的評価の前に、決定論的軌道最適化器を用いて有望な行動を事前に選択することで、行動評価の計算コストを低減すること。
• シミュレーションおよび実ロボット上での実験を通じて、本手法が高精度および低精度タスクの両方において、標準MPCに比べて優れた性能を示すことを検証すること。

提案手法

• 異なるプッシュ速度が異なる不確実性レベルを引き起こすため、行動依存の確率的ノイズを有するマルコフ決定過程（MDP）として非捕捉的操作問題を定式化する。
• 決定論的物理モデルを用いた軌道最適化器により、各状態で有望な行動の集合を事前に生成し、評価対象の行動数を著しく削減する。
• 不確実性の確率的モデルを用いて、選択された行動を確率的ダイナミクス下で評価し、期待コストと成功確率を推定する。
• 事前にグローバル最適ポリシーを計算しないオンライン近似ポリシー更新を実装し、リアルタイム意思決定を可能にする。
• 実行中のフィードバック補正を可能にするために、閉ループ制御器とプランナを統合し、摂動やモデル誤差に対する耐性を向上させる。
• 不確実性を考慮した行動選択を組み込んだモデル予測制御（MPC）の原則を活用し、さまざまなタスク正確性レベルで高い成功確率を維持する。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、タスクの正確性要件と不確実性レベルに応じて、高速プッシュと低速プッシュの行動を動的に切り替えられるか？
• RQ2 行動依存の不確実性は非捕捉的操作の性能にどのように影響するか？ また、確率的MDPフレームワーク内で効果的にモデル化可能か？
• RQ3 軌道最適化器は、計算コストを低減しつつも高い成功確率を維持できるように、確率的MDPにおける行動サンプリングを効果的にガイドできるか？
• RQ4 標準MPCが低速行動のみを用いるのに対し、タスク適応型プランナは、さまざまな正確性レベルにおいて、速度と成功確率の両面で優れているか？
• RQ5 本手法は、高精度および低精度タスクの両方において、実ロボットシステムに実際に導入可能で、物理的環境でも効果的か？

主な発見

• タスク適応型コントローラは、低精度タスクを1回の高速プッシュで2秒未塔で完了したが、標準MPCは20回の行動を要し、20秒以上を要した。
• 高精度タスクでは、標準MPCが不確実性が高すぎて物体が端から落ちるためゴールに到達できなかったが、タスク適応型コントローラは低速で正確なプッシュを用いて成功した。
• 本手法は、特に速度が優先される低精度シナリオにおいて、標準MPCよりも高い成功確率を達成した。
• 軌道最適化器の統合により、1状態あたりの評価対象行動数が削減され、物理ベースの予測の高コストにもかかわらず、リアルタイム性能を実現した。
• 実ロボット上でも、コントローラはさまざまな正確性要件に適応でき、物理的環境でも耐性と効率性を示した。
• タスク制約に基づき、行動速度と正確性のバランスを取ることで、さまざまな不確実性レベルにおいても高い成功確率を維持した。