[論文レビュー] Learning 6-DOF Grasping Interaction via Deep Geometry-aware 3D Representations

Xinchen Yan, Jasmine Hsu+6 more|arXiv (Cornell University)|Aug 24, 2017

Robot Manipulation and Learning参考文献 37被引用数 8

ひとこと要約

本稿では、RGBD入力を用いて3次元シーンの幾何構造を生成的3次元形状モデルにより再構築し、その結果得られる幾何構造に注意を払った表現を用いて6自由度の把持を予測することで、RGBD入力からの6自由度把持を学習する深層幾何構造に注意を払った把持ネットワーク（DGGN）を提案する。本手法は、CNNベースラインと比較して相対的に10%の性能向上を達成し、学習済みの幾何構造に注意を払った表現を用いた分析・合成による把持計画を可能にし、新たな視点や物体に対しても良好な一般化性能を示す。

ABSTRACT

This paper focuses on the problem of learning 6-DOF grasping with a parallel jaw gripper in simulation. We propose the notion of a geometry-aware representation in grasping based on the assumption that knowledge of 3D geometry is at the heart of interaction. Our key idea is constraining and regularizing grasping interaction learning through 3D geometry prediction. Specifically, we formulate the learning of deep geometry-aware grasping model in two steps: First, we learn to build mental geometry-aware representation by reconstructing the scene (i.e., 3D occupancy grid) from RGBD input via generative 3D shape modeling. Second, we learn to predict grasping outcome with its internal geometry-aware representation. The learned outcome prediction model is used to sequentially propose grasping solutions via analysis-by-synthesis optimization. Our contributions are fourfold: (1) To best of our knowledge, we are presenting for the first time a method to learn a 6-DOF grasping net from RGBD input; (2) We build a grasping dataset from demonstrations in virtual reality with rich sensory and interaction annotations. This dataset includes 101 everyday objects spread across 7 categories, additionally, we propose a data augmentation strategy for effective learning; (3) We demonstrate that the learned geometry-aware representation leads to about 10 percent relative performance improvement over the baseline CNN on grasping objects from our dataset. (4) We further demonstrate that the model generalizes to novel viewpoints and object instances.

研究の動機と目的

• エンドツーエンドの深層学習で未解決であった、RGBD入力からの平行ジョイントグリッパーを用いた6自由度把持の学習。
• シーン再構築を補助タスクとして明示的に組み込むことで、3次元幾何構造への注意を払った表現を用いて、把持の予測性能を向上。
• 学習済みの幾何構造に注意を払った表現を用いた分析・合成最適化により、頑健な把持計画を実現。
• バーチャルリアリティによるデモンストレーションと合成データ拡張を用いた大規模かつ豊富にアノテーションされた把持データセットの構築。
• トレーニング分布外の新しい物体インスタンスや視点に対しても一般化する能力の検証。

提案手法

• 本手法は2段階の深層ネットワークを用いる：まず、画像エンコーダーとボクセルデコーダーを用いてRGBD入力から3次元占有グリッドを再構築する形状生成ネットワーク。
• 形状生成ネットワークは、物体の形状、位置、姿勢を符号化する幾何構造に注意を払った表現を生成する。
• 学習不要の物理的プロジェクション層が、幾何構造に注意を払った表現から、グリッパー中心の局所的オブジェクト表面を想起する。
• 把持結果予測ネットワークは、グリッパーの姿勢、視覚状態、幾何構造に注意を払った表現を入力とし、成功または失敗を予測する。
• モデルは、結果予測器に従ってクロスエントロピー法（CEM）を用いてグリッパーの姿勢を繰り返し最適化することで、分析・合成による把持計画を可能にする。
• 合成データは、PyBulletを用いて人間のデモンストレーションを姿勢空間にランダムなガウスノイズで摂動させることで生成され、成功／失敗の結果が保持される。

実験結果

リサーチクエスチョン

• RQ1 明示的な3次元監視なしに、深層ニューラルネットワークがRGBD入力から直接6自由度把持を学習できるか？
• RQ2 補助タスクとして3次元幾何構造再構築を組み込むことで、標準的なCNNと比較して、把持結果予測性能が向上するか？
• RQ3 幾何構造に注意を払った表現が、分析・合成最適化における把持計画性能を向上させるか？
• RQ4 モデルは、トレーニング時に観測されなかった新しい物体インスタンスや視点に対し、どの程度一般化できるか？
• RQ5 限られた人間のデモンストレーションからの合成データ拡張は、一般化性能の向上にどの程度効果的か？

主な発見

• 提案された深層幾何構造に注意を払った把持ネットワークは、標準的なCNNベースラインと比較して、把持結果予測において相対的に10%の性能向上を達成した。
• モデルは、新しい物体インスタンスや視点に対しても効果的に一般化し、トレーニング分布外でも頑健であることが示された。
• 幾何構造に注意を払ったモデルに従ってガイドされた分析・合成による把持計画は、CNNベースラインよりも高い成功率を達成しており、ボトルのような明確な幾何的構造を持つオブジェクトでは特に顕著であった。
• 本手法は、RGBD入力からの6自由度把持を学習することに成功し、このタスクにおける最初のエンドツーエンド学習フレームワークを実現した。
• PyBulletを用いた合成データ拡張により、人間のデモンストレーションから得られる15万件の合成把持に基づいて、トレーニングデータが大幅に拡張された。
• 学習不要の物理的プロジェクション層により、グリッパーの視点からの局所的オブジェクト幾何構造の正確かつ効率的な想起が可能となり、頑健な計画を支援した。