[論文レビュー] SimNet: Enabling Robust Unknown Object Manipulation from Pure Synthetic Data via Stereo

Thomas Kollar, Michael Laskey+3 more|arXiv (Cornell University)|Jun 30, 2021

Robot Manipulation and Learning参考文献 39被引用数 14

ひとこと要約

SimNet は、低精度の合成ステレオデータにのみトレーニングされたマルチヘッドニューラルネットワークであり、構造のない環境における未知の光学的に挑戦的な物体（透明または反射的なものなど）のロバストな認識と操作を可能にする。差違推定に微分可能ステレオコストボリュームを活用し、幾何的監視によるエンドツーエンドトレーニングにより、直接の日光下でも、ガラス製品などの難しい物体の把持に95％の成功を達成し、RGB-Dベースラインの35％を上回る性能を発揮する。

ABSTRACT

Robot manipulation of unknown objects in unstructured environments is a challenging problem due to the variety of shapes, materials, arrangements and lighting conditions. Even with large-scale real-world data collection, robust perception and manipulation of transparent and reflective objects across various lighting conditions remain challenging. To address these challenges we propose an approach to performing sim-to-real transfer of robotic perception. The underlying model, SimNet, is trained as a single multi-headed neural network using simulated stereo data as input and simulated object segmentation masks, 3D oriented bounding boxes (OBBs), object keypoints, and disparity as output. A key component of SimNet is the incorporation of a learned stereo sub-network that predicts disparity. SimNet is evaluated on 2D car detection, unknown object detection, and deformable object keypoint detection and significantly outperforms a baseline that uses a structured light RGB-D sensor. By inferring grasp positions using the OBB and keypoint predictions, SimNet can be used to perform end-to-end manipulation of unknown objects in both easy and hard scenarios using our fleet of Toyota HSR robots in four home environments. In unknown object grasping experiments, the predictions from the baseline RGB-D network and SimNet enable successful grasps of most of the easy objects. However, the RGB-D baseline only grasps 35% of the hard (e.g., transparent) objects, while SimNet grasps 95%, suggesting that SimNet can enable robust manipulation of unknown objects, including transparent objects, in unknown environments.

研究の動機と目的

• 大規模な現実世界データ収集を必要とせずに、ロボット操作におけるシミュレーションから実世界への転送を可能にすること。
• 変動する照明条件下でも、未知の光学的に複雑な物体（透明または反射的物体など）を認識・操作する課題に対処すること。
• 合成データのみを用いて、ステレオ画像からセグメンテーションマスク、3次元オrientedバウンディングボックス（OBB）、キーポイント、差違を予測する軽量でマルチタスクなネットワークを開発すること。
• ステレオマッチングからの幾何的推論が、家庭のような構造のない環境でもロバストな認識と操作を可能にすることを示すこと。
• 自動車検出、Tシャツのたたみ、困難な条件下での未知物体の把持という多様な現実世界タスクにおいて、手法の有効性を検証すること。

提案手法

• 非フォトリアルなシミュレータが、セグメンテーションマスク、3次元オrientedバウンディングボックス（OBB）、物体キーポイント、差違の自動アノテーションを伴う大規模かつドメインランダマイズドなステレオ画像ペアを生成する。
• SimNet は、合成ステレオデータ上でエンドツーエンドにトレーニングされた単一の軽量でマルチヘッドなニューラルネットワークであり、セグメンテーションマスク、OBB、キーポイント、差違を予測する。
• 差違推定に微分可能なステレオコストボリュームを用い、低品質な合成シーンからでさえも幾何的構造を学習可能にする。
• 幾何的に関連する特徴に注目を向けるよう促すため、深度再構築の補助損失をネットワークに適用し、シミュレーションから実世界への一般化を向上させる。
• 把持位置は、予測されたOBBとキーポイントからヒューリスティックに導出され、古典的なモーションプランナを用いたエンドツーエンドの操作が可能になる。
• 本手法は、4つの家庭環境におけるトヨタ HSR ロボットのフリートを用いて現実世界タスクで評価され、構造的光センシングを用いたRGB-Dベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 合成ステレオデータにのみトレーニングされたニューラルネットワークが、光学的に挑戦的な未知の物体の認識と操作におけるシミュレーションから実世界への転送をロバストに達成できるか？
• RQ2 アクティブ深度センシングと比較して、学習されたステレオマッチングが、直達日光や非ラムベールト表面を伴う構造のない環境における認識のロバスト性を向上させるか？
• RQ3 ステレオ画像からセグメンテーション、OBB、キーポイント、差違をマルチタスクで予測することで、未知の物体に対する効果的なエンドツーエンドの操作が可能になるか？
• RQ4 SimNet の性能は、透明および反射的物体を含む把持タスクにおいて、RGB-Dベースラインと比較してどの程度優れているか？
• RQ5 合成データからのステレオマッチングは、2次元自動車検出や変形可能な物体の操作といった現実世界タスクにどの程度一般化するか？

主な発見

• 未知の物体の把持実験では、SimNet は光学的に挑戦的な「難しい」物体（例：透明なガラス製品）に対して95％の成功率を達成した一方、RGB-Dベースラインはわずか35％であった。
• Tシャツのたたみタスクにおいても、SimNet はキーポイント mAP 0.917 を達成し、RGB-D では0.631、深度のみのモデルでは0.282 に比べ顕著に優れた性能を示した。
• KITTI ベンチマークにおける2次元自動車検出では、SimNet は mAP 0.826 を達成し、モノクローラル（0.565）およびスタックドステレオ（0.710）ベースラインを上回り、実データベースライン（0.861）からわずか3.5％の差で、ほぼ同等の性能を示した。
• ネットワークは Titan Xp GPU で20Hzで実行され、ロボットデプロイメントに適したリアルタイム推論能力を示した。
• SimNet の性能は、直接の自然光下でも安定しており、アクティブ深度センサが赤外干渉とノイズを受ける状況でも健在する。
• 幾何的監視付きの微分可能なステレオコストボリュームの使用により、フォトリアルなレンダリングを必要とせずに、低精度の合成データからでも効果的なシミュレーションから実世界への転送が可能となった。