[論文レビュー] Never Mind the Bounding Boxes, Here's the SAND Filters

Zhiqiang Sui, Zhefan Ye+1 more|arXiv (Cornell University)|Aug 15, 2018

Robot Manipulation and Learning参考文献 24被引用数 3

ひとこと要約

本稿では、CNNに基づく物体検出と生成的サンプリングに基づく局所探索を組み合わせた二段階手法であるSANDフィルタを提案する。この手法により、ごみだらけの環境における6次元物体ポーズ推定が向上する。CNNの信頼度スコアを活用し、パーティクルフィルタを用いて仮説を段階的に改善することで、誤検出と誤検出を低減し、95.2%のポーズ推定成功率と88.1%のカテゴリカルな分類タスクの完了率を達成した。

ABSTRACT

Perception is the main bottleneck to perform autonomous mobile manipulation tasks, especially in cluttered and unstructured environment. In this paper, we propose a novel two-stage paradigm that leverage both CNN object prior and generative sampling to perform object detection and 6D pose estimation. Our two-stage approach builds upon both CNN and generative sampling-based local search method to achieve sampling the network density, or SAND filter. We show the quantitative results that SAND effectively improve object detection result by reducing false positive and false negative recognitions, and further produces accurate pose estimation. We also conduct extensive categorical object sorting experiments to show our method is able to produce accurate and reliable detections and object poses.

研究の動機と目的

• 従来のCNNが遮蔽や視点の変化によって失敗する、ごみくずだらけで構造のない環境における正確な物体検出と6次元ポーズ推定の課題に対処すること。
• エンドツーエンドの物体検出器の限界を克服するため、二段階フレームワークを用いて検出とポーズ精錬を分離すること。
• 深層学習の事前知識と確率的サンプリングに基づく精錬を統合することで、モバイルマニピュレーションにおける認識の頑健性と信頼性を向上させること。
• 下流の把持や配置タスクに適した、信頼性の高い検出と正確なポーズ推定を組み合わせることで、正確なカテゴリカルな物体分類を可能にすること。

提案手法

• 第一段階として、スコアのしきい値に基づくフィルタリングを行わないで、CNNベースの検出器を用いて物体のバウンディングボックスと信頼度スコアを生成する。
• 第二段階では、各バウンディングボックスに対応する深度画像を切り出し、パーティクルフィルタ（SANDフィルタ）を適用して物体ポーズの仮説を精錬する。
• 各パーティクルは6次元の物体ポーズを表し、重みはCNNの信頼度、3Dモデルからレンダリングされた深度、センサーからの観測深度を用いて更新される。
• 尤度に基づいて繰り返しパーティクルを再サンプリングすることで、遮蔽やごみくずがあっても最も確率の高いポーズに収束する。
• この手法はモジュラーであり、さまざまなCNN検出器や代替の第二段階手法（例：ICP、FPFH）と互換性がある。
• 今後の研究では、逐次的観測の拡張と複数の物体インスタンスの検出をサポートする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの検出器と比較して、CNN検出と生成的サンプリングを組み合わせた二段階アプローチが、遮蔽やごみくずのある環境における6次元物体ポーズ推定を改善できるか。
• RQ2 SANDフィルタは、ベースラインのCNNオンリーメソッドと比較して、誤検出と誤検出をどの程度低減できるか。
• RQ3 生成的サンプリングに基づく精錬段階は、困難な視覚的条件下でポーズ推定精度をどのように向上させるか。
• RQ4 SANDフィルタは、実世界のロボットマニピュレーションタスクにおいて、信頼性のあるカテゴリカルな物体分類を可能にするか。

主な発見

• SANDフィルタは、カテゴリカルな分類タスクにおける42個の物体インスタンスにおいて、95.2%のポーズ推定成功率を達成し、ベースライン手法を著しく上回った。
• 0.02メートルというきつい距離しきい値を用いても、SANDフィルタは60%を超えるポーズ推定精度を達成し、微小なポーズ誤差に対しても頑健であることが示された。
• 同じ第一段階検出器を用いた場合、第二段階の生成的サンプリング手法がICP や FPFH を上回り、ポーズ精錬において優位性を示した。
• タスク完了成功率は88.1%（42回中37回）に達し、自律的マニピュレーションに実用的であることが示された。
• 把持失敗が主なボトルネックであった（5回中3回）、これはタクトイルフィードバックのないオープンループで硬いグリッパーが使用されたためである。
• この手法はモジュラーかつ一般化可能であり、最小限の修正で他のCNN検出器や第二段階コンponentに適応可能である。