[論文レビュー] A Self-supervised Learning System for Object Detection using Physics Simulation and Multi-view Pose Estimation

Chaitanya Mitash, Kostas E. Bekris+1 more|arXiv (Cornell University)|Mar 9, 2017

Advanced Neural Network Applications被引用数 11

ひとこと要約

本論文では、物理ベースのシミュレーションを用いた現実的な合成データ生成と、マルチビュー姿勢推定を組み合わせた自己教師あり学習システムを提案する。この手法により、ごみだらけのロボット環境における物体検出および6DoF姿勢推定の性能が顕著に向上した。ベースラインの実データ学習に比べ12%の性能向上を達成し、最新の手法に比べ25%の精度向上を示した。

ABSTRACT

Progress has been achieved recently in object detection given advancements in deep learning. Nevertheless, such tools typically require a large amount of training data and significant manual effort to label objects. This limits their applicability in robotics, where solutions must scale to a large number of objects and variety of conditions. This work proposes an autonomous process for training a Convolutional Neural Network (CNN) for object detection and pose estimation in robotic setups. The focus is on detecting objects placed in cluttered, tight environments, such as a shelf with multiple objects. In particular, given access to 3D object models, several aspects of the environment are physically simulated. The models are placed in physically realistic poses with respect to their environment to generate a labeled synthetic dataset. To further improve object detection, the network self-trains over real images that are labeled using a robust multi-view pose estimation process. The proposed training process is evaluated on several existing datasets and on a dataset collected for this paper with a Motoman robotic arm. Results show that the proposed approach outperforms popular training processes relying on synthetic - but not physically realistic - data and manual annotation. The key contributions are the incorporation of physical reasoning in the synthetic data generation process and the automation of the annotation process over real images.

研究の動機と目的

• 物体検出のための深層学習モデルの学習における手動アノテーション作業を削減するため、データ生成とラベリングの自動化を実現する。
• 物理エンジンを用いて物理的に現実的な合成データを生成することで、物体検出器の一般化性能を向上させる。
• 複数のビューからの高信頼度検出を活用して実世界の画像を再トレーニング用にラベリングするというライフライン学習を可能にする。
• シミュレーション学習と実世界の自己ラベリングを統合することで、ごみだらけのシーンにおける6DoF姿勢推定の精度を向上させる。
• 物理に配慮したシーン生成と頑健なマルチビュー姿勢推定により、合成データと実データのドメインギャップを最小限に抑える。

提案手法

• 重力や接触力の下で現実的なポーズと隠蔽状態を再現できるように、物理エンジンを用いて棚やテーブル上への物体配置をシミュレートする。
• 透視投影を用いて既知のカメラポーズから合成画像をレンダリングし、Faster-RCNNの学習用に2次元バウンディングボックスアノテーションを生成する。
• ロボットアームを用いて同じシーンの複数のビューを撮影し、トレーニング済みの検出器を用いて高信頼度の物体ポーズを推定する。
• 推定された3次元ポーズを2次元画像平面に再投影し、困難な視点からの実画像に対しても正確なバウンディングボックスラベルを生成する。
• 自動的にラベリングされた実画像を段階的に学習データセットに追加し、Faster-RCNNをライフライン学習ループで再トレーニングする。
• モデル登録技術（PCA + ICP、Super4PCS、fast-global-registration）を適用し、6DoF姿勢推定の性能を評価・最適化する。

実験結果

リサーチクエスチョン

• RQ1 物理ベースのシミュレーションは、ごみだらけのロボット環境における物体検出のための合成データの現実性と一般化性能を向上させ得るか？
• RQ2 ロボットアームからのマルチビュー姿勢推定は、手動アノテーションを一切用いずに実画像の自動ラベリングをどの程度可能にするか？
• RQ3 自己ラベリングされた実画像をシミュレーション学習パイプラインに統合することで、検出性能および姿勢推定性能はどのように向上するか？
• RQ4 提案された自己教師ありシステムは、完全に合成データで学習した手法および大規模な手動アノテーション付き実データベースラインを上回る性能を示せるか？
• RQ5 実世界のテストデータを用いた場合、本システムの6DoF姿勢推定性能は、最先端の手法と比べてどの程度優れているか？

主な発見

• 自己ラベリングされた実画像を用いた再トレーニング後、物体検出精度が12%向上した。
• Shelf&Toteデータセットから15,000枚の手動ラベル付き実画像を用いたベースライン手法に比べ、6DoF姿勢推定の成功確率が25%向上した。
• PCA + ICPを用いた本手法のトレーニングパイプラインでは、平均回転誤差8.50°、並進誤差0.03mを達成し、従来手法を上回った。
• 物理シミュレーションデータと自己ラベリングされた実データでトレーニングされた検出器は、新しい視点に対しても良好に一般化され、検出精度と耐障害性が向上した。
• 指定された評価基準（5cmの並進誤差、15°の回転誤差）下で、6DoF姿勢推定の成功確率は79.4%に達し、背景除去を施した実データで学習した手法を上回った。
• 複数のビューからの高信頼度検出の活用により、実画像の信頼性ある自己ラベリングが可能となり、手動アノテーションへの依存度が低下した。