[論文レビュー] Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes

Tao Chen, Megha Tippur+4 more|arXiv (Cornell University)|Nov 21, 2022

Robot Manipulation and Learning被引用数 7

ひとこと要約

本論文では、単一の一般化された深度カメラを用いて、複雑で新しい物体形状のインハンドリオリエンテーションをリアルタイムで行う汎用的な制御アーキテクチャを提示する。ドメインランダム化とシステム同定を用いたシミュレーション内での強化学習による訓練を経て、中程度のリオリエンテーション時間（約7秒）を達成し、訓練時とは見られない物体に対しても一般化可能であり、重力の影響を受ける下向きのハンド配置のような挑戦的状況でも動作する。

ABSTRACT

In-hand object reorientation is necessary for performing many dexterous manipulation tasks, such as tool use in less structured environments that remain beyond the reach of current robots. Prior works built reorientation systems assuming one or many of the following: reorienting only specific objects with simple shapes, limited range of reorientation, slow or quasistatic manipulation, simulation-only results, the need for specialized and costly sensor suites, and other constraints which make the system infeasible for real-world deployment. We present a general object reorientation controller that does not make these assumptions. It uses readings from a single commodity depth camera to dynamically reorient complex and new object shapes by any rotation in real-time, with the median reorientation time being close to seven seconds. The controller is trained using reinforcement learning in simulation and evaluated in the real world on new object shapes not used for training, including the most challenging scenario of reorienting objects held in the air by a downward-facing hand that must counteract gravity during reorientation. Our hardware platform only uses open-source components that cost less than five thousand dollars. Although we demonstrate the ability to overcome assumptions in prior work, there is ample scope for improving absolute performance. For instance, the challenging duck-shaped object not used for training was dropped in 56 percent of the trials. When it was not dropped, our controller reoriented the object within 0.4 radians (23 degrees) 75 percent of the time. Videos are available at: https://taochenshh.github.io/projects/visual-dexterity.

研究の動機と目的

• 訓練済みの知識がなくとも、複雑で新しい物体形状に一般化可能な実世界対応のインハンドリオリエンテーションシステムを開発すること。
• 従来の研究の制限を克服すること。具体的には、特定の物体形状に依存する、準静的マニピュレーション、上向きのハンド配置、または専用センサに依存する問題。
• 単一の一般化された深度カメラとオープンソースハードウェアのみを用いて、リアルタイムで動的リオリエンテーションを実現すること。
• システム的ドメインランダム化と動的同定を用いて、シミュレーションと現実のギャップを最小限に抑え、実世界での展開に耐性を持つこと。
• 重力に抵抗する必要がある、下向きのハンドで物体を空中で保持するような挑戦的状況での性能を示すこと。

提案手法

• ジョイント軌道類似度を最適化するためのブラックボックスCMA-ES最適化を用いて、同定された動的パラメータを有するシミュレーテッドロボットを用いて、シミュレーション内での深層強化学習ポリシーを訓練した。
• 入力に深度画像のみを用いることで、シミュレーションと現実の間の類似性を高め、シミュレーションから現実へのギャップを低減した。
• オブジェクトおよび環境の動的要因に対してドメインランダム化を適用し、訓練中にランダムな力が加わるようにすることで、現実世界の摂動に対する耐性を向上させた。
• ソフトなフィンガータイプの先端を用いることで、柔軟性を向上させ、過剰応答を低減し、制御誤差に対する耐性を高めた。
• ポリシー・ネットワークからの特徴を用いて学習された停止基準を実装し、回転誤差とアクションの大きさが両方とも閾値未満である場合に終了をトリガーした。
• 実世界のジョイント軌道を再現するために、ブラックボックスCMA-ES最適化を用いて、シミュレーションパラメータを調整することでロボット動的特性のシステム同定を実施した。

実験結果

リサーチクエスチョン

• RQ1 訓練時に見なかった複雑で新しい物体形状に対しても、単一の深度カメラベースの制御アーキテクチャが一般化可能か？
• RQ2 シミュレーション内で訓練されたリアルタイムリオリエンテーションポリシーが、専用センサーやハードウェアを必要とせず、現実世界に成功裏に展開可能か？
• RQ3 重力に抵抗する必要がある、下向きのハンドマニピュレーションのような挑戦的状況での制御アーキテクチャの有効性はいかほどか？
• RQ4 ドメインランダム化とシステム同定は、器用なマニピュレーションにおけるシミュレーションから現実へのギャップをどの程度低減できるか？
• RQ5 複雑な幾何形状を持つ未確認の物体に対して、リオリエンテーション時間と正確性という観点で、制御アーキテクチャの性能はどの程度か？

主な発見

• 実世界での展開において、訓練済みでない複雑な物体形状のリオリエンテーションに、中央値で約7秒の時間を要した。
• 訓練時に使用しなかったアヒル型の物体に関しては、56%の試行で落下したが、落下しなかった場合の75%において、目標位置から0.4ラジアン（23度）以内にリオリエンテーションされた。
• 単一の一般化された深度カメラと5,000ドル未満のオープンソースハードウェアのみを用いて、多様で未確認の物体形状を成功裏にリオリエンテーションした。
• ドメインランダム化とシステム同定の適用により、シミュレーションから現実へのギャップが顕著に低減され、微調整なしに実世界への展開が可能になった。
• 学習された停止基準は、回転誤差とアクションの大きさが十分に小さい場合に適切にアクションを終了させ、効率性と安全性を向上させた。
• 重力に抵抗して下向きのハンド配置でマニピュレートする状況においても、制御アーキテクチャは頑健に動作し、実世界でのツール利用応用の可能性を示した。