[論文レビュー] Classification based Grasp Detection using Spatial Transformer Network

Dongwon Park, Se Young Chun|arXiv (Cornell University)|Mar 4, 2018

Robot Manipulation and Learning参考文献 17被引用数 32

ひとこと要約

本論文は、複数段階の空間変換ネットワーク（STN）を用いた新しい分類ベースのロボットグリップ検出手法を提案する。この手法により、State-of-the-artの精度とリアルタイム性能を達成した。ブートフォースなスライディングウィンドウの代わりに階層的な空間変換を採用することで、観察可能な中間のグリップ候補（位置、方向、スケール）が得られ、解釈可能性と学習効率が向上した。ImageNetでの事前学習を必要としない。

ABSTRACT

Robotic grasp detection task is still challenging, particularly for novel objects. With the recent advance of deep learning, there have been several works on detecting robotic grasp using neural networks. Typically, regression based grasp detection methods have outperformed classification based detection methods in computation complexity with excellent accuracy. However, classification based robotic grasp detection still seems to have merits such as intermediate step observability and straightforward back propagation routine for end-to-end training. In this work, we propose a novel classification based robotic grasp detection method with multiple-stage spatial transformer networks (STN). Our proposed method was able to achieve state-of-the-art performance in accuracy with real- time computation. Additionally, unlike other regression based grasp detection methods, our proposed method allows partial observation for intermediate results such as grasp location and orientation for a number of grasp configuration candidates.

研究の動機と目的

• 深層学習を用いた新規オブジェクトのロボットグリップ検出の課題に対処すること。
• ブラックボックスな回帰ベース手法の限界を克服し、中間グリップ候補の部分的可視化を可能にすること。
• ImageNetのような大規模データセットでの事前学習を必要とせず、高い精度とリアルタイム推論を達成すること。
• 回帰ベース手法の代替として、解釈可能でトレーニング可能な、エンド・ツー・エンド学習が可能な代替手法を提供すること。

提案手法

• 本手法は、段階的な空間変換ネットワーク（STN）を用いて、グリップ候補の位置、方向、スケールを段階的に最適化する。
• 各STN段階は、有望なグリップ領域に注目する空間変換を適用し、計算コストの高いスライディングウィンドウ手法に代わる。
• 最終段階では、7チャネル入力（RGB、深度、表面法線）を用いた深層残差ネットワーク（ResNet-32）を用いてグリップ可能性分類を行う。
• 各候補のグリップ可能性スコアに対して交差エントロピー損失を用いて、エンド・ツー・エンドで学習する。
• アーキテクチャにより、中間出力を観察可能とし、トレーニングおよび推論中におけるグリップ候補の品質分析が可能になる。
• 本手法は1台のGPU（GTX 1080 Ti）を用い、高解像度画像をリアルタイムで処理できる。

実験結果

リサーチクエスチョン

• RQ1 分類ベースのグリップ検出手法は、リアルタイム推論速度を維持しながら、SOTAの精度を達成できるか？
• RQ2 複数段階のSTNは、グリップ検出において、ブートフォースなスライディングウィンドウを効果的に置き換えられ、効率性と解釈可能性を向上させられるか？
• RQ3 提案手法は、中間グリップ候補を観察可能とし、モデルのデバッグとトレーニングを向上させられるか？
• RQ4 ImageNetのような大規模データセットでの事前学習を必要とせず、特にマルチモodal入力を用いた場合に高い性能を達成できるか？

主な発見

• 提案手法はベンチマークデータセットで89.60%の精度を達成し、回帰ベース手法を含め、他のすべての手法を上回った。
• 1枚あたり23.0ミリ秒の処理時間で、1台のGPU上でリアルタイム性能を達成した。
• 分類ベースのSAEおよびCNNベースラインと比べ、顕著に優れた性能を示した（それぞれ76.00%および82.53%の精度）。
• 回帰ベース手法は70.67%の精度を達成したが、11.3 ms/画像とはるかに速く、提案手法ほど精度は高くない。
• マルチステージSTNの設計により、グリップ候補の部分的可視化が可能となり、モデル分析とトレーニングが容易になった。
• ImageNetでの事前学習を必要とせず、マルチモーダルロボットビジョンタスクに適した高い性能を達成した。