[論文レビュー] RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images

Minghao Gou, Hao-Shu Fang+4 more|arXiv (Cornell University)|Mar 3, 2021

Robot Manipulation and Learning参考文献 39被引用数 6

ひとこと要約

本稿では、7自由度のグリッパー姿勢推定を、RGBに基づく方位予測（Angle-View Netを用いる）と深度情報に基づく解析的探索（グリッパー開口幅とグリッパー位置の推定）に分離する2段階のディーブラーニングパイプライン、RGBD-Graspを提案する。GraspNet-1Billionベンチマークにおいて最先端の性能を達成し、単一オブジェクトシーンでは実機ロボット実験で91.7%、ごみ混在シーンでは91.1%の成功率を達成しており、深度ノイズに対して高い耐性を示し、未知のオブジェクトへの一般化性能も確認された。

ABSTRACT

General object grasping is an important yet unsolved problem in the field of robotics. Most of the current methods either generate grasp poses with few DoF that fail to cover most of the success grasps, or only take the unstable depth image or point cloud as input which may lead to poor results in some cases. In this paper, we propose RGBD-Grasp, a pipeline that solves this problem by decoupling 7-DoF grasp detection into two sub-tasks where RGB and depth information are processed separately. In the first stage, an encoder-decoder like convolutional neural network Angle-View Net(AVN) is proposed to predict the SO(3) orientation of the gripper at every location of the image. Consequently, a Fast Analytic Searching(FAS) module calculates the opening width and the distance of the gripper to the grasp point. By decoupling the grasp detection problem and introducing the stable RGB modality, our pipeline alleviates the requirement for the high-quality depth image and is robust to depth sensor noise. We achieve state-of-the-art results on GraspNet-1Billion dataset compared with several baselines. Real robot experiments on a UR5 robot with an Intel Realsense camera and a Robotiq two-finger gripper show high success rates for both single object scenes and cluttered scenes. Our code and trained model will be made publicly available.

研究の動機と目的

• 2次元平面グリッピングや6自由度手法が深度データに依存しすぎていること、また未知のオブジェクトへの一般化に失敗するという課題に対処すること。
• 安定したRGBモodalitiyと深度を併用することで、深度センサのノイズに敏感なグリッピング姿勢推定の耐性を高めること。
• 単眼RGBD入力に基づき、リアルタイムかつ高自由度（7自由度）のグリッピング検出を可能とし、既知のオブジェクトと未知のオブジェクトの両方をサポートすること。
• 単一オブジェクトおよびごみ混在の現実世界におけるロボットグリッピングシナリオにおいて、高い成功率を達成すること。

提案手法

• Angle-View Net (AVN)：U-Netに類似たエンコーダ・デコーダ型の畳み込みニューラルネットワークで、RGB画像を処理し、SO(3)グリッピング方位をピクセル単位のヒートマップとして予測する。
• Fast Analytic Searching (FAS)モジュール：AVNのヒートマップと深度画像を用いて、衝突検出および空のグリッピング検出に基づき、グリッパーの開口幅とグリッピング位置までの距離を計算する。
• 7自由度グリッピング検出を、方位予測（RGBのみ）と幾何的パrameter推定（RGB + 深度）に分離することで、効率的かつ耐障害性の高い推論を実現する。
• パイプラインはGraspNet-1Billionデータセットで学習され、10.5 FPSで動作し、リアルタイム要件を満たしている。
• 異なる深度センサ（Kinect 対 RealSense）間での一般化性能を評価するため、クロスカメラ評価プロトコルが用いられている。

実験結果

リサーチクエスチョン

• RQ1 単眼RGBD入力により、未知のオブジェクトに一般化可能な耐障害性の高い7自由度グリッピング姿勢予測が可能か？
• RQ2 方位予測と幾何的パrameter推定を分離することで、深度センサのノイズに対して耐性が向上するか？
• RQ3 2段階パイプラインは、エンドツーエンド手法を凌駕する7自由度グリッピング検出性能を実現しながらも、リアルタイム推論を達成できるか？
• RQ4 複雑でごみ混在した環境下において、先行研究の最先端手法と比較して本手法はどのように性能を発揮するか？

主な発見

• RGBD-GraspはGraspNet-1Billionで最先端のAPスコアを達成し、Kinect下では既知のオブジェクトで2.20、類似のオブジェクトで2.56、未知のオブジェクトで1.57の向上を示した。RealSense下では、それぞれ0.42、1.12、1.70の向上を記録した。
• 本手法はドメインシフトに対しても高い性能を維持しており、例えばRealSenseとKinectの間で深度カメラを切り替えた場合でも、深度品質に強く依存する手法とは異なり、わずかな性能低下にとどまる。
• 実機ロボット実験では、UR5ロボットとRobotiqグリッパーを用いて、単一オブジェクトシーンで91.7%、ごみ混在シーンで91.1%の成功率を達成した。
• パイプラインは10.5 FPSで動作し、リアルタイムのロボット操作タスクに適していることが確認された。
• 未知のオブジェクトに対しても良好な一般化性能を示し、実世界の未確認オブジェクトにおいて85～90%の成功率を達成した。