[論文レビュー] MAT: Multi-Fingered Adaptive Tactile Grasping via Deep Reinforcement Learning

Bohan Wu, Iretiayo Akinola+2 more|arXiv (Cornell University)|Sep 10, 2019

Robot Manipulation and Learning被引用数 30

ひとこと要約

MAT は、本体感覚および触覚フィードバックを用いた閉ループで、触覚に基づくつかみを実現する深層強化学習ポリシーを提案する。視覚のみのオープンループシステムと比較して、つかみ成功率を顕著に向上させる。最小限のシミュレーションから実世界へのギャップを伴ってシミュレーション内でのみ訓練され、5cm未塔のキャリブレーション誤差下でも実世界の新規オブジェクトで98.7%の成功率を達成し、視覚的遮蔽やシステムの不整合に対して高い頑健性を示す。

ABSTRACT

Vision-based grasping systems typically adopt an open-loop execution of a planned grasp. This policy can fail due to many reasons, including ubiquitous calibration error. Recovery from a failed grasp is further complicated by visual occlusion, as the hand is usually occluding the vision sensor as it attempts another open-loop regrasp. This work presents MAT, a tactile closed-loop method capable of realizing grasps provided by a coarse initial positioning of the hand above an object. Our algorithm is a deep reinforcement learning (RL) policy optimized through the clipped surrogate objective within a maximum entropy RL framework to balance exploitation and exploration. The method utilizes tactile and proprioceptive information to act through both fine finger motions and larger regrasp movements to execute stable grasps. A novel curriculum of action motion magnitude makes learning more tractable and helps turn common failure cases into successes. Careful selection of features that exhibit small sim-to-real gaps enables this tactile grasping policy, trained purely in simulation, to transfer well to real world environments without the need for additional learning. Experimentally, this methodology improves over a vision-only grasp success rate substantially on a multi-fingered robot hand. When this methodology is used to realize grasps from coarse initial positions provided by a vision-only planner, the system is made dramatically more robust to calibration errors in the camera-robot transform.

研究の動機と目的

• キャリブレーション誤差や視覚的遮蔽の下で、視覚のみのオープンループつかみの失敗を解消すること。
• リアルタイムの適応を可能にするために、触覚および本体感覚フィードバックを利用する閉ループつかみポリシーを開発すること。
• 実世界での微調整なしに、高精度なシミュレーションから実世界への転送を可能にする、触覚に基づくつかみポリシーの開発。
• 視覚ベースのシステムが失敗する、ごみだらけの状況や新規オブジェクトの状況でのつかみ成功率の向上。
• 既存の視覚ベースのつかみプランナと統合し、成功したピックアップまでの最終的なギャップを埋めること。

提案手法

• 最大エントロピーの深層強化学習ポリシーを、クリッピングされたサrogate目的関数を用いて訓練し、探索と活用のバランスを取る。
• ポリシーは関節角度、二値の触覚接触、および触覚接触のカーテシアン座標を入力とし、細かい指の動きと再つかみ調整を制御する。
• カリキュラム学習戦略により、最初は粗いオープンループポリシーから始めて、段階的に指の閉じる動作の細分化を進める。
• 観測と行動のモodalities を慎重に選択し、シミュレーションから実世界へのドメインギャップを最小限に抑える。これには関節状態と触覚センサデータが含まれる。
• ポリシーは完全にシミュレーション内でのみ訓練され、実世界のハードウェアに直接デプロイされ、さらなる適応なしに運用可能である。
• 初期のつかみ品質が不十分な場合、触覚フィードバックに基づいて指を開き直し、エンドエフェクタを再位置決めすることで、再つかみを可能にする。

実験結果

リサーチクエスチョン

• RQ1 触覚に基づく閉ループ強化学習ポリシーは、視覚のみのオープンループシステムと比較して、つかみ成功率を顕著に向上させることができるか？
• RQ2 ロボットカメラ変換におけるキャリブレーション誤差に対して、シミュレーションから実世界への転送可能な触覚ベースのつかみポリシーはどの程度頑健か？
• RQ3 シミュレーション内で訓練されたポリシーは、微調整なしに実世界環境に直接転送可能か？
• RQ4 どの程度まで触覚フィードバックが、不良な初期姿勢や物体形状による失敗からの回復を可能にするか？
• RQ5 カリキュラム学習は、複雑な多指ハンドのつかみにおいて、サンプル効率と最終的なパフォーマンスを向上させるか？

主な発見

• 実世界の実験において、MAT は5cm未塔のキャリブレーションノイズ下でも、新規オブジェクトで98.7%のつかみ成功率を達成した。これに対して、視覚のみのベースラインは20.0%にとどまった。
• シミュレーション内では、MAT は7.5cmのキャリブレーションノイズ下でも高いパフォーマンス（96.4%の成功率）を維持したが、視覚のみのベースラインは50%未満に低下した。
• 実世界でのMATの成功率は、シミュレーション内でのパフォーマンスと統計的に差がなく、高精度なシミュレーションから実世界への転送が確認された。
• 単一オブジェクトおよびごみだらけのシーンを含む、すべてのテスト条件下で、MAT は視覚のみのベースラインよりも4.4–5.2%高い成功率を達成した。
• ポリシーは、触覚フィードバックに基づいて指を開き直し、ハンドを再位置決めすることで、失敗したつかみからの回復に成功した。これはオープンループシステムには欠けている機能である。
• アブレーションスタディにより、触覚フィードバックが頑健性にとって不可欠であることが確認され、MAT はシミュレーションおよび実世界の両方で、触覚のみのベースラインを上回った。