[論文レビュー] NeuralGrasps: Learning Implicit Representations for Grasps of Multiple Robotic Hands

Ninad Khargonkar, Neil Song+3 more|arXiv (Cornell University)|Jul 6, 2022

Robot Manipulation and Learning被引用数 5

ひとこと要約

NeuralGraspsは、複数のロボットハンドおよび人間のハンドからのグリップを共有潜在空間に符号化するニューラルインプリシット表現を提案する。メトリック学習によりグリップ類似度が保持され、これにより異なるグリッパー間、特に人間からロボットへのグリップ転送が可能となり、部分点群からの接触最適化を伴う6次元オブジェクトポーズ推定をサポートする。実世界でのグリップ成功確率は平均で22.9%向上した。

ABSTRACT

We introduce a neural implicit representation for grasps of objects from multiple robotic hands. Different grasps across multiple robotic hands are encoded into a shared latent space. Each latent vector is learned to decode to the 3D shape of an object and the 3D shape of a robotic hand in a grasping pose in terms of the signed distance functions of the two 3D shapes. In addition, the distance metric in the latent space is learned to preserve the similarity between grasps across different robotic hands, where the similarity of grasps is defined according to contact regions of the robotic hands. This property enables our method to transfer grasps between different grippers including a human hand, and grasp transfer has the potential to share grasping skills between robots and enable robots to learn grasping skills from humans. Furthermore, the encoded signed distance functions of objects and grasps in our implicit representation can be used for 6D object pose estimation with grasping contact optimization from partial point clouds, which enables robotic grasping in the real world.

研究の動機と目的

• 異なるロボットグリッパー、特に人間の手を含めたグリップスキルの転送を可能にするために、多様なグリップを符号化する共有潜在空間を学習すること。
• 符号化されたオブジェクト形状とグリッパー構成を同時に表現するためのニューラルインプリシット表現を構築すること。
• 接触領域の重なりに基づいてグリップ類似度を反映する潜在空間内の距離メトリックを学習すること。
• 部分点群からの接触制約を用いた6次元オブジェクトポーズ推定と接触最適化を可能にすることで、実世界のロボットグリップを支援すること。
• 今後のグリップ転送および一般化に関する研究の基盤となる、マルチグリッパーのグリップデータセットを新たに提供すること。

提案手法

• 深層ニューラルネットワークが、任意の3次元点におけるオブジェクトおよびグリッパーのSDF値を、潜在ベクトルをデコードすることで予測する。
• 潜在空間内で、潜在コード間の距離がグリップ接触マップの類似度を反映するように、三重項損失関数を用いて学習する。
• グリッパーとオブジェクト間の接触マップを計算し、グリップ類似度を定義し、潜在空間内のメトリック学習を監視に用いる。
• インプリシットなSDF表現により、部分点群とグリップ接触制約を用いた6次元オブジェクトポーズ推定の微分可能最適化が可能になる。
• 人間のデモンストレーションパイプラインにより、RGB-D画像から3次元手メッシュを取得し、潜在コードを推定し、そのコードに最も近いロボットグリップを潜在空間内で検索して実行する。
• 異なるグリッパー種別からの潜在空間内での最近傍グリップ照合により、グリップ転送を実現し、人間からロボットへのスキル転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数のロボットハンドおよび人間のハンドからのグリップを、グリップ類似度を保持する形で符号化する共有潜在空間を学習可能か？
• RQ2 潜在空間内でのメトリック学習により、異なるグリッパー種別、特に人間の手を含めた有効なゼロショットグリップ転送が可能か？
• RQ3 インプリシットなSDF表現により、実世界の設定において部分点群からの接触に配慮した最適化を伴う6次元オブジェクトポーズ推定が向上するか？
• RQ4 接触に基づくポーズ最適化は、SDFのみのポーズ推定と比較して、グリップ成功確率にどのように影響を与えるか？
• RQ5 人間のデモンストレーションは、提案されたインプリシット表現を用いて効果的に符号化され、ロボットグリッパーに転送可能か？

主な発見

• 提案手法は、ベースラインポーズ推定で62.8%のグリップ成功確率を達成し、接触最適化を適用した場合に85.7%に向上し、相対的に22.9%の向上を示した。
• 学習された潜在空間は、潜在コードの距離と接触マップ類似度スコアの間に0.89の相関を示し、グリップ類似度の保持が裏付けられた。
• 実世界の実験において、人間の手からFetchモバイルマニピュレータへのグリップ転送が成功した。定性的な結果から、機能的な転送可能性が確認された。
• 接触マップによる監視を伴う三重項損失により、潜在空間のメトリックがグリップ類似度と整合的になることが示され、正解の接触マップ距離と高い類似度スコアが一致した。
• 予測されたグリップとオブジェクト間の接触を最適化することで、部分点群観測のみを用いても実世界のロボットグリップが実現可能になった。
• 新たに導入されたマルチグリッパーのグリップデータセットは、今後の異なるグリッパー間でのグリップ転送や、未観測オブジェクトへの一般化に関する研究の基盤を提供する。