[論文レビュー] TransSC: Transformer-based Shape Completion for Grasp Evaluation

Wenkai Chen, Hongzhuo Liang+3 more|arXiv (Cornell University)|Jul 1, 2021

Robot Manipulation and Learning参考文献 34被引用数 5

ひとこと要約

本論文では、スパARSEでノイズの多い部分点群から完全な3次元物体形状を再構築することで、ロボットのグリップ評価を向上させるトランスフォーマーに基づく形状再構成ネットワーク、TransSCを提案する。グローバル特徴の学習にトランスフォーマー・エンコーダーを、詳細な表面再構成に多様体ベースのデコーダーを用いることで、シミュレーションおよび実世界の実験において、ボクセルベースおよびRANSACベースのベースラインを上回るグリップ成功確率を実現する。

ABSTRACT

Currently, robotic grasping methods based on sparse partial point clouds have attained a great grasping performance on various objects while they often generate wrong grasping candidates due to the lack of geometric information on the object. In this work, we propose a novel and robust shape completion model (TransSC). This model has a transformer-based encoder to explore more point-wise features and a manifold-based decoder to exploit more object details using a partial point cloud as input. Quantitative experiments verify the effectiveness of the proposed shape completion network and demonstrate it outperforms existing methods. Besides, TransSC is integrated into a grasp evaluation network to generate a set of grasp candidates. The simulation experiment shows that TransSC improves the grasping generation result compared to the existing shape completion baselines. Furthermore, our robotic experiment shows that with TransSC the robot is more successful in grasping objects that are randomly placed on a support surface.

研究の動機と目的

• 単一視点センサーからの不完全な幾何的情報によるロボットグリップの課題に対処すること。
• 実際のRGB-DカメラからのスパARSEでノイズの多い部分点群に対して効果的に動作する、頑健な形状再構成モデルの開発。
• 形状再構成をグリップ評価パイプラインに統合し、グリップ候補の質と成功確率を向上させること。
• タクトイルフィードバックなどの追加センサーを必要とせずに、実世界でのロボットグリップを可能にすること。
• 本手法の有効性を、シミュレーションおよび物理的ロボット実験の両方で示すこと。

提案手法

• 長距離依存性と部分点群からのポイントワイズ注目特徴を捉えるために、トランスフォーマーに基づくエンコーダーを備えた、新規のエンコーダ-デコーダー・アーキテクチャを提案する。
• 潜在特徴とポイント・シードから空間的表面を予測することで、高解像度で詳細な表面を生成する多様体ベースのデコーダーを採用する。
• 実カメラのノイズや遮蔽を含む、YCB-Videoデータセットから得た非合成の大型部分点群データセットを用いてモデルを学習する。
• 完成した点群をPointNetGPDに供給し、グリップ候補の生成とスコアリングを実施する。
• MoveIt! Task Constructorを用いて、UR5ロボットアームで実行可能な衝突なしの軌道を生成する。
• キャリブレーション（物体に合わせた）と任意（カメラに合わせた）の2つの学習モードを用い、後者により6次元オブジェクトポーズ推定を必要とせずに実世界への展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパARSEでノイズの多い部分点群のみを用いて、トランスフォーマーに基づく形状再構成モデルが、実ロボットシステムにおけるグリップ成功確率を向上させられるか？
• RQ2 RANSAC、ボクセルベース、およびミラー再構成といった既存の形状再構成手法と比較して、TransSCの性能はどのように異なるか？
• RQ3 形状再構成により、視点制限やオブジェクト遮蔽に起因するグリップ失敗はどの程度低減されるか？
• RQ4 任意ポーズ学習モードにより、正確な6次元オブジェクトポーズ推定を必要とせずに、効果的な実世界への展開が可能になるか？
• RQ5 グリップ評価パイプラインに形状再構成を統合することで、より頑健で汎用性の高いグリップ結果が得られるか？

主な発見

• キャリブレーションポーズ入力のTransSCは、シミュレーションでRANSACベースおよびボクセルベースの手法を上回る最高のグリップ成功確率を達成した。
• 任意ポーズバージョンのTransSCは、実ロボット実験で平均83.33%のグリップ成功確率を達成し、PointNetGPD単体の71.67%を顕著に上回った。
• ドリルの場合は、TransSCを用いることで成功確率が40%から50%に上昇し、滑らかで複雑な形状の物体の取り扱いが向上した。
• TransSCの平均グリップポーズ誤差は、他の手法と比較して顕著に低く、幾何的正確性の向上を示した。
• より完全な表面幾何を提供することで、グリップ候補が物体に沈み込むのを防ぎ、不良な点群表現に起因する失敗を低減した。
• 実世界のノイズを含む非合成データセットにより一般化性能が向上し、物理的ロボット実験での優れた性能が実現された。