[論文レビュー] Generating Grasp Poses for a High-DOF Gripper Using Neural Networks

Min Liu, Zherong Pan+3 more|arXiv (Cornell University)|Mar 1, 2019

Robot Manipulation and Learning参考文献 35被引用数 7

ひとこと要約

本論文では、ニューラルネットワークを用いて高自由度（DOF）のグリップポーズを生成するためのディープラーニング手法を提案する。ポーズの曖昧さは一貫性損失により、衝突回避は衝突損失により対処する。324個のオブジェクトで構成される大規模かつ拡張済みのデータセットで学習させた結果、教師ありベースラインと比較してグリップポーズの精度が4倍向上し、ノイズを含むマルチビュー深度画像からの3D再構築に対しても、25自由度のShadow Handで3〜5秒のリアルタイムなグリップ生成が可能となった。

ABSTRACT

We present a learning-based method for representing grasp poses of a high-DOF hand using neural networks. Due to redundancy in such high-DOF grippers, there exists a large number of equally effective grasp poses for a given target object, making it difficult for the neural network to find consistent grasp poses. We resolve this ambiguity by generating an augmented dataset that covers many possible grasps for each target object and train our neural networks using a consistency loss function to identify a one-to-one mapping from objects to grasp poses. We further enhance the quality of neural-network-predicted grasp poses using a collision loss function to avoid penetrations. We use an object dataset that combines the BigBIRD Database, the KIT Database, the YCB Database, and the Grasp Dataset to show that our method can generate high-DOF grasp poses with higher accuracy than supervised learning baselines. The quality of the grasp poses is on par with the groundtruth poses in the dataset. In addition, our method is robust and can handle noisy object models such as those constructed from multi-view depth images, allowing our method to be implemented on a 25-DOF Shadow Hand hardware platform.

研究の動機と目的

• 低自由度の仮定を用いずに、複雑なロボットハンド向けに直接的かつ高速かつ高精度な高DOFグリップポーズの生成を可能にすること。
• 同一オブジェクトに対して複数の有効なポーズが存在するグリップポーズの冗長性に起因する曖昧さを解消すること。
• マルチビュー深度画像からのノイズや不完全な3Dオブジェクト再構築に対しても一般化性と耐障害性を向上させること。
• 生成されたグリップポーズが現実世界のロボット操作において衝突がなく物理的に実現可能であることを保証すること。
• 25自由度のShadow Handハードウェアプラットフォーム上でリアルタイムの推論（1回のグリップあたり3〜5秒）を達成すること。

提案手法

• 本手法は、オブジェクト入力を1対1のグリップポーズにマッピングするニューラルネットワークを用い、多数の候補から1つの代表的グリップポーズを選択するのを促進する一貫性損失により、曖昧さを解消する。
• 一貫性損失関数を導入し、多様で同等に有効な設定においても、グリップポーズの安定的かつ一貫性のある表現を学習できるようにネットワークを誘導する。
• 訓練中に衝突損失関数を適用し、ハンドとオブジェクトの貫通をペナルティ化することで、生成されたポーズが物理的に実現可能であり、自己衝突を避けることを保証する。
• トレーニングデータセットはBigBIRD、KIT、YCB、Grasp Datasetsを統合し、1オブジェクトあたり数十のグリップポーズを含めることで、耐障害性と一般化性能を向上させる。
• ノイズを含む入力モデルに対しては、反復的なオブジェクト回転（3〜5回）を実施し、再び推論を実行し、トルク空間（wrench-space）指標に基づいて最高品質のグリップポーズを選択する。
• 複数回の実行から得られたグリップポーズのうち、トルク空間におけるグリップ品質を評価するエプシロンベースの指標を用いて、最終的なグリップポーズを選択する。

実験結果

リサーチクエスチョン

• RQ1 多数の同等に有効なグリップ配置が存在する中で、ニューラルネットワークが1つのオブジェクトに対して一貫して1つの高DOFグリップポーズを予測できるか。
• RQ2 マルチビュー深度画像からのノイズを含む3Dオブジェクト再構築に対しても、高精度を維持しながら耐障害性を高められるか。
• RQ3 一貫性損失および衝突損失関数を用いることで、標準的な教師あり学習と比較して、予測されたグリップポーズの精度と実現可能性はどの程度向上するか。
• RQ4 25自由度のロボットハンド（例：Shadow Hand）上で、5秒未満のリアルタイム推論（1回のグリップあたり）を達成できるか。
• RQ5 未観測の複雑なオブジェクトに適用した場合、GraspIt! や教師あり学習のベースラインと比較して、本手法のグリップ品質はどの程度か。

主な発見

• 本手法は、教師ありベースラインと比較して、グリップポーズ予測精度が4倍向上した（真値との距離で測定）。
• マルチビュー深度画像から再構築した15個の実世界オブジェクトに対して、エプシロン指標で平均グリップ品質が0.102に達し、ノイズの多い入力に対しても耐障害性を示した。
• 25自由度のShadow Handを用いた実機グリップ実験では、15回中12回の成功を達成し、実用性と現実世界への適用可能性を実証した。
• 一貫性損失および衝突損失関数の使用により、ノイズや不完全なオブジェクトモデルが存在する状況でも、ポーズ品質が著しく向上し、貫通が完全に排除された。
• 従来のサンプリングベースの手法と比較して、推論中のオブジェクト回転回数を平均3〜5回にまで削減でき、高速なリアルタイム推論を実現した。
• シミュレーションおよび実世界の両環境で、GraspIt!と同等の品質のグリップポーズが本手法によって生成されたことから、高い忠実度と信頼性を確認した。