[論文レビュー] Fully Convolutional Grasp Detection Network with Oriented Anchor Box

Xinwen Zhou, Xuguang Lan+4 more|arXiv (Cornell University)|Mar 6, 2018

Robot Manipulation and Learning被引用数 22

ひとこと要約

この論文は、RGB画像におけるリアルタイムでマルチグリップ検出を実現するため、方向付きアンカーボックスを備えた完全畳み込みニューラルネットワークを提案する。エンドツーエンドのアーキテクチャと新規のマッチング戦略、方向付きアンカーボックスを用いることで、Cornell Grasp Datasetの画像単位スプリットで97.74%、オブジェクト単位スプリットで96.61%の精度を達成し、先行する最先端手法をそれぞれ1.74%および0.51%上回った。

ABSTRACT

In this paper, we present a real-time approach to predict multiple grasping poses for a parallel-plate robotic gripper using RGB images. A model with oriented anchor box mechanism is proposed and a new matching strategy is used during the training process. An end-to-end fully convolutional neural network is employed in our work. The network consists of two parts: the feature extractor and multi-grasp predictor. The feature extractor is a deep convolutional neural network. The multi-grasp predictor regresses grasp rectangles from predefined oriented rectangles, called oriented anchor boxes, and classifies the rectangles into graspable and ungraspable. On the standard Cornell Grasp Dataset, our model achieves an accuracy of 97.74% and 96.61% on image-wise split and object-wise split respectively, and outperforms the latest state-of-the-art approach by 1.74% on image-wise split and 0.51% on object-wise split.

研究の動機と目的

• RGB画像を用いて、平行平板ロボットグリッパーの複数のグリップポーズをリアルタイムかつ高精度で予測することを目的とする。
• グリップ長方形の幾何的変動をよりよく捉えるために、従来のアンカーベース手法の限界を克服するため、方向付きアンカーボックスを導入することを目的とする。
• 方向付きグリップ候補に特化した新規なトレーニングマッチング戦略を用いることで、一般化性能と検出精度を向上させることを目的とする。
• グリップパラメータの回帰とグリップ可能性の分類を一度の順伝播で効率的に行える、エンドツーエンドの完全畳み込みアーキテクチャを開発することを目的とする。
• Cornell Grasp Datasetのような標準ベンチマークで、既存の最先端手法を上回ることを目的とする。

提案手法

• 完全畳み込みニューラルネットワークを採用し、深層特徴抽出器とマルチグリップ予測器から構成される。
• 方向付きアンカーボックス（事前に定義された方向付き長方形）を、グリップ予測の基準領域として用いることで、回転したグリップポーズの局所化を向上させる。
• 正例グリップを最も適切な方向付きアンカーボックスに割り当てるための新しいトレーニングマッチング戦略を導入し、学習効率を向上させる。
• マルチグリップ予測器は、一度の順伝播で分類（グリップ可能 vs. グリップ不可能）と回帰（バウンディングボックス座標と方向）を同時に行う。
• 分類ヘッドと回帰ヘッドの両方を最適化する統合損失関数を用いて、エンドツーエンドでネットワークを訓練する。
• バックボーンCNNの特徴マップを活用し、複数の空間スケールでグリップ候補を予測することで、画像全体にわたる高密度な予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 方向付きアンカーボックスを備えた完全畳み込みネットワークは、標準的な軸に沿ったアンカーベース手法と比較して、グリップ検出精度を向上させることができるか？
• RQ2 トレーニング段階での提案されたマッチング戦略は、グリップ予測の局所化と分類性能にどのように影響するか？
• RQ3 方向付きアンカーボックスの使用は、RGB画像における回転したグリップポーズの検出能力をどの程度向上させるか？
• RQ4 エンドツーエンドの完全畳み込み設計は、高精度を維持しつつリアルタイム推論を可能にするか？
• RQ5 評価スプリットの違いに関係なく、提案手法は最先端のグリップ検出アプローチと比較して、精度と頑健性に優れているか？

主な発見

• 提案モデルは、Cornell Grasp Datasetの画像単位スプリットで97.74%の精度を達成し、前回のSOTAを1.74ポイント上回った。
• オブジェクト単位スプリットでは96.61%の精度を達成し、最新のSOTA手法を0.51%上回った。
• 方向付きアンカーボックスの使用は、軸に沿ったベースラインと比較して、回転したグリップポーズの局所化精度を顕著に向上させた。
• トレーニング段階での新規マッチング戦略により、正例グリップを適切なアンカーボックスに割り当てる能力が向上し、収束が速くなり、性能が向上した。
• エンドツーエンドの完全畳み込み設計により、多様なオブジェクトカテゴリにわたり、高い効率性と頑健性を備えたリアルタイム推論が可能になった。
• 異なるテストスプリットにおいても強力な一般化性能を示し、未学習のオブジェクトや画像に対しても信頼性の高い性能を発揮した。