[論文レビュー] 6-DoF Grasp Planning using Fast 3D Reconstruction and Grasp Quality CNN

Yahav Avigal, Samuel Paradis+1 more|arXiv (Cornell University)|Sep 18, 2020

Robot Manipulation and Learning参考文献 7被引用数 7

ひとこと要約

本論文は、再訓練された学習ステレオマシン（LSM）を用いた複数のRGBカメラからの高速3次元再構築と、新規のマルチビューGrasp-Quality CNN（MV-GQ-CNN）を活用する6-DoFグリップ計画システムを提示する。本手法は、多様な視点からの深度予測を統合することで、複雑な家庭用物体に対してトップダウングリップを上回る堅牢なグリップを実現し、ボウルでは96%のグリップ品質スコアを達成し、ごみが多く散らかった状況やトップダウンでない状況でも性能が向上する。

ABSTRACT

Recent consumer demand for home robots has accelerated performance of robotic grasping. However, a key component of the perception pipeline, the depth camera, is still expensive and inaccessible to most consumers. In addition, grasp planning has significantly improved recently, by leveraging large datasets and cloud robotics, and by limiting the state and action space to top-down grasps with 4 degrees of freedom (DoF). By leveraging multi-view geometry of the object using inexpensive equipment such as off-the-shelf RGB cameras and state-of-the-art algorithms such as Learn Stereo Machine (LSM\cite{kar2017learning}), the robot is able to generate more robust grasps from different angles with 6-DoF. In this paper, we present a modification of LSM to graspable objects, evaluate the grasps, and develop a 6-DoF grasp planner based on Grasp-Quality CNN (GQ-CNN\cite{mahler2017dex}) that exploits multiple camera views to plan a robust grasp, even in the absence of a possible top-down grasp.

研究の動機と目的

• 構造的でない、ごみが多く散らかった家庭環境において、物体が部分的にしか見えない、または最適でない方向を向いている場合に、トップダウン型4-DoFグリップの限界を克服すること。
• 高価な深度カメラに依存するのを減らし、学習されたステレオモデルを用いて、低コストのRGBカメラからの高精度な3次元再構築を可能にすること。
• トップダウンでないカメラ視点からも一般化可能なグリップ品質予測を実現するマルチビューのグリップ計画ネットワーク（MV-GQ-CNN）を開発すること。
• トップダウンの視点が有効でない場合でも、LSMから得られる深度マップが6-DoFグリップ計画に有効であることを実証すること。

提案手法

• 学習ステレオマシン（LSM）を、元のShapeNet学習分布とは異なる、グリップ可能な家庭用物体の合成RGB画像で再訓練した。
• 異なる可微分レンダリングパイプラインを用いて、グリップ可能な物体の再構築を目的とした、マルチビューの合成RGBおよび深度画像ペアの自動生成を実施し、LSMの学習に活用した。
• 複数のカメラ視点からの深度マップを処理し、高い信頼性で6-DoFグリップポーズを出力するマルチビューGQ-CNN（MV-GQ-CNN）を設計した。
• LSMが予測する深度マップをGQ-CNNフレームワークに統合し、トップダウンの視点や高価な深度センサーを必要としないグリップ計画を実現した。
• 全視点にわたるグリップ候補をサンプリング・最適化するために、交差エントロピー法（CEM）を用い、Q値予測により最も信頼性の高いグリップを選択した。
• グリップ品質と耐障害性を、地面真値の深度マップとLSMが予測した深度マップの両方を用いて評価し、多様な物体の形状にわたる性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 再訓練されたLSMネットワークは、家庭用物体の複数枚のRGB画像から、後続のグリップ計画に十分な精度の深度マップを生成できるか？
• RQ2 マルチビューGQ-CNN（MV-GQ-CNN）は、複雑な幾何形状や非理想的な向きの物体に対して、従来のトップダウンGQ-CNNを上回る6-DoFグリップ計画を実現できるか？
• RQ3 グリップ計画パイプラインにおいて、地面真値の深度マップの代わりにLSMが予測した深度マップを使用しても、グリップ品質が維持または向上するか？
• RQ4 高速なマルチビュー再構築とマルチビューのグリップ予測の組み合わせは、非構造的な環境におけるリアルタイムで低コストなロボットグリップに実用的か？

主な発見

• 再訓練されたLSMは、1ショット、3ショット、9ショットの入力において一貫した再構築誤差を示し、データセット全体で平均誤差0.002896、'above'視点で0.003527を記録した。これは、入力視点数の変動に強く、堅牢性を示している。
• 未学習の物体に対しては、再訓練されたLSMが事前学習済みネットワークを上回った。特にシャンプーのボトルやNutellaGoのパッケージなど、グリップ可能なアイテムにおいて、学習分布に適したアライメントが図れた。
• MV-GQ-CNNは、マルチビュー入力でボウルに対して0.96のグリップ品質スコアを達成し、トップダウン手法の0.87を上回った。これは、複雑な物体においてもグリップの堅牢性が向上したことを示している。
• スカッシュの物体では、マルチビュー計画がQ値0.96を達成したのに対し、トップダウン設定では0.90にとどまり、多様な視点からの情報統合によりグリップ品質の信頼性が向上した。
• おもちゃのいすでは、トップダウン手法がグリップを発見できなかった（エッジセグメンテーションの失敗によりN/A）。一方、マルチビュー計画ではQ値0.60を達成し、困難な状況でも信頼性が向上した。
• LSMが予測した深度マップ上でのグリップ品質は、地面真値と同等であった。例えば、左上グリップでは、地面真値でQ値0.652、予測深度で0.830を記録し、優れた一般化性能を示した。