[論文レビュー] Grasp and Motion Planning for Dexterous Manipulation for the Real Robot Challenge

Takuma Yoneda, Charles Schaff+2 more|arXiv (Cornell University)|Jan 8, 2021

Robotic Path Planning Algorithms参考文献 10被引用数 7

ひとこと要約

本論文では、TriFingerロボットプラットフォームを用いた多指操作のためのグリップおよび運動計画フレームワークを提示する。運動プリミティブ、RRTに基づく経路計画を用いたグリップサンプリング、フィードバック制御を統合している。本手法は、シミュレーションで訓練された残差ポリシーと頑健なPD制御を用いることで、Real Robot Challengeの第2フェーズおよび第3フェーズで1位を達成し、観測ノイズや障害回復に対しても優れた性能を示した。

ABSTRACT

This report describes our winning submission to the Real Robot Challenge (https://real-robot-challenge.com/). The Real Robot Challenge is a three-phase dexterous manipulation competition that involves manipulating various rectangular objects with the TriFinger Platform. Our approach combines motion planning with several motion primitives to manipulate the object. For Phases 1 and 2, we additionally learn a residual policy in simulation that applies corrective actions on top of our controller. Our approach won first place in Phase 2 and Phase 3 of the competition. We were anonymously known as `ardentstork' on the competition leaderboard (https://real-robot-challenge.com/leader-board). Videos and our code can be found at https://github.com/ripl-ttic/real-robot-challenge.

研究の動機と目的

• ノイズの多い認識と複雑な姿勢要件が課される小さな長方形の物体の多指操作の課題に対処すること。
• 物体の落下などの障害を処理できる、頑健でリアルタイムなグリップおよび運動計画システムの開発。
• シミュレーションにおける残差ポリシー学習を通じた制御性能の向上を図り、シミュレーションから実世界への転送を可能にすること。
• 難易度が上昇する複数のフェーズにおいて、目的の姿勢に高い精度と速度で到達すること。
• センサのノイズや機械的不確実性があっても、グリップおよび運動実行の安定性と正確性を確保すること。

提案手法

• 可能なグリップをサンプリングし、RRTを用いて障害物のない運動経路を生成するグリップ計画ループを採用する。
• 計画の複雑さを軽減するため、物体の整列に運動プリミティブを統合する：事前グリップ位置決め、中央への移動、姿勢の整列。
• 計画された関節軌道を追跡するためにPD制御を用い、第1フェーズおよび第2フェーズでは力制御と残差ポリシーのフィードバックを追加してグリップ安定性を向上させる。
• 目的の力・トルク（ワンス）から関節トルクを計算するために、ジャコビアン転置制御に重力補償および摩擦円錐制約を適用する。
• シミュレーションでPPO（Proximal Policy Optimization）を用いて残差ポリシーを学習し、学習の安定化のため、平均がゼロで分散が小さい行動分布を初期化する。
• 目的関数として、目的距離、トルク／速度正則化、スリップペナルティを組み合わせた報酬関数を用い、しっかりとしたグリップと滑らかな運動を促進する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い物体の姿勢推定下でも、ロボットが多指操作のためのグリップと運動をどのようにして頑健に計画できるか。
• RQ2 シミュレーションで学習した残差ポリシーは、ベースとなる運動制御器の性能をどの程度向上させ、実世界の実行に一般化できるか。
• RQ3 運動プリミティブは、複雑な操作タスクの計画問題をどのように簡略化するか。
• RQ4 力制御と残差ポリシーのフィードバックを備えたPD制御は、運動中におけるグリップ安定性をどの程度維持できるか。
• RQ5 ドメインランダマイゼーションや実データのファインチューニングなしに、シミュレーションで訓練されたポリシーは実ロボットに効果的に転送できるか。

主な発見

• 本システムは、第2フェーズ（実ロボットを用いた立方体操作）および第3フェーズ（小さな直方体操作）の両方で1位を達成し、高い性能と頑健性を示した。
• シミュレーションで学習した残差ポリシーは、ドメインランダマイゼーションや実データのファインチューニングなしに、実ロボット上でも制御性能を顕著に向上させた。
• 力制御と残差ポリシーのフィードバックにより、第1フェーズおよび第2フェーズ（姿勢推定が正確な状況）でグリップの不安定性が低減され、成功確率が向上した。
• 第3フェーズでは、姿勢推定がノイズを含むため、フィードバックなしのPD制御でも十分に頑健であり、観測誤差があっても信頼性の高い実行が可能であった。
• 物体の落下などの障害からも正常に回復でき、高精度で一貫性のある複数ステップの操作シーケンスを実行できた。
• RRT実行中の計画遅延および高い負の報酬が主なパフォーマンスボトルネックであることが判明し、PRMベースの事前計算が速度向上に寄与する可能性がある。