[論文レビュー] SGDN: Segmentation-Based Grasp Detection Network For Unsymmetrical Three-Finger Gripper

Dexin Wang|arXiv (Cornell University)|May 17, 2020

Robot Manipulation and Learning参考文献 28被引用数 6

ひとこと要約

本稿では、RGB画像を用いてピクセル単位のグリップを検出するための1段階型のセグメンテーションベースの深層学習ネットワーク、SGDNを提案する。特に非対称な3本指グリッパーに特化している。グリップ領域を一貫した角度と幅でモデル化するため、方向性を持つ基準固定三角形グリップ表現を導入し、再アノテートされたコロンビアグリップデータセットにおける画像単位の分割では96.8%、オブジェクト単位の分割では92.27%の精度を達成した。

ABSTRACT

In this paper, we present Segmentation-Based Grasp Detection Network (SGDN) to predict a feasible robotic grasping for a unsymmetrical three-finger robotic gripper using RGB images. The feasible grasping of a target should be a collection of grasp regions with the same grasp angle and width. In other words, a simplified planar grasp representation should be pixel-level rather than region-level such as five-dimensional grasp representation.Therefore, we propose a pixel-level grasp representation, oriented base-fixed triangle. It is also more suitable for unsymmetrical three-finger gripper which cannot grasp symmetrically when grasping some objects, the grasp angle is at [0, 2π) instead of [0, π) of parallel plate gripper.In order to predict the appropriate grasp region and its corresponding grasp angle and width in the RGB image, SGDN uses DeepLabv3+ as a feature extractor, and uses a three-channel grasp predictor to predict feasible oriented base-fixed triangle grasp representation of each pixel.On the re-annotated Cornell Grasp Dataset, our model achieves an accuracy of 96.8% and 92.27% on image-wise split and object-wise split respectively, and obtains accurate predictions consistent with the state-of-the-art methods.

研究の動機と目的

• 非対称な3本指グリッパーに不適切な5次元長方形表現に依存する従来のグリップ検出手法の限界を解消すること。
• 人間が抽象的な設定ではなく、特定の領域をグリップするという現実のグリップ行動をよりよく反映するピクセル単位のグリップ表現を開発すること。
• 角度と幅を直接予測できる深層学習フレームワークを設計し、最先端の手法と同等以上の精度と一貫性を実現すること。
• 遮蔽や複数のオブジェクトが存在する複雑なシーンにおいて、未学習のオブジェクトカテゴリを含めても、頑健なグリップ検出を可能にすること。
• グリップ検出にセマンティックセグメンテーションの原則を活用することで、現実のロボットグリップの汎用性と性能を向上させること。

提案手法

• 非対称な3本指グリッパーに適した、各ピクセルが固定された角度と幅を持つグリップを予測する方向性を持つ基準固定三角形グリップ表現を、ピクセル単位のグリップモデルとして提案する。
• RGB画像からのマルチスケールの文脈的特徴を捉えるために、DeepLabv3+をバックボーンの特徴抽出器として採用する。
• 各ピクセルに対してグリップ角度、幅、信頼度スコアを同時に予測する3チャネルのグリップ予測ヘッドを設計する。
• モデルの学習と評価に使用するため、新しい方向性を持つ基準固定三角形表現を用いてコロンビアグリップデータセットをピクセル単位で再アノテートする。
• ピクセル単位のグリップ予測を最適化するセグメンテーションスタイルの損失関数を用いてネットワークを学習させ、エンドツーエンドの学習を可能にする。
• 信頼度マップに対して非最大抑制を適用し、信頼度が0.5を超えるもののみを選択して複数グリップ予測を生成する。

実験結果

リサーチクエスチョン

• RQ1 従来の5次元長方形表現と比較して、ピクセル単位のグリップ表現は現実のグリップ行動をよりよくモデル化できるか？
• RQ2 RGB画像のみを用いて、非対称な3本指グリッパーの実行可能なグリップ領域を検出するセグメンテーションベースの深層学習アプローチは、どの程度有効か？
• RQ3 標準ベンチマーク上での既存手法と比較して、提案された方向性を持つ基準固定三角形表現は、グリップ検出精度をどの程度向上させるか？
• RQ4 遮蔽や未学習のオブジェクトカテゴリを含む複雑な現実世界のシーンにおいて、モデルの一般化性能はどの程度高いか？
• RQ5 モデルの主な失敗モードは何か？また、それらは角度と幅の推定におけるラベルの不完全さや予測の抽象化とどのように関連しているか？

主な発見

• SGDNは、再アノテートされたコロンビアグリップデータセットにおける画像単位の分割で96.8%、オブジェクト単位の分割で92.27%のグリップ検出精度を達成した。
• モデルは1オブジェクトあたり複数の実行可能なグリップを正しく検出できており、可視化結果ではほぼすべてのラベル付きグリップ領域が正しくカバーされている。
• 遮蔽や未学習のオブジェクトカテゴリ（例：筆、ヘッドフォンボックス）が存在する複雑な複数オブジェクトシーンにおいても、SGDNは良好な一般化性能を示し、高い性能を維持した。
• 誤検出の主な原因は、グリップポイントの座標が正しくても、角度や幅の予測が誤っていることである。これは、角度と幅の回帰における制限を示している。
• モデルはリアルタイムで実行可能であり、生成的グリップパイプラインへの適用において実行可能性と頑健性を示しており、予測結果を現実のロボット実行に直接マッピング可能である。
• セマンティックセグメンテーションに基づく予測の活用により、従来の5次元回帰ベースのグリップ検出手法と比較して、より正確で一貫性のある結果が得られた。