[論文レビュー] Multi-Task Deep Networks for Depth-Based 6D Object Pose and Joint Registration in Crowd Scenarios

Juil Sock, Kwang In Kim+2 more|arXiv (Cornell University)|Jun 11, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 26被引用数 21

ひとこと要約

本論文は、混雑した深度画像における6次元オブジェクトポーズ推定とジョイントレジストレーションのためのマルチタスクディープラーニングフレームワークを提案する。2次元検出、6次元ポーズ回帰、および遮蔽に配慮したレジストレーションを同時に学習する。本手法は、トレーニング中に遮蔽パターンを明示的にモデル化することで、実世界のビンピッキングデータセットで最先端手法よりも15–31%高い平均精度を達成し、後処理としてのICPの微調整を不要にした。

ABSTRACT

In bin-picking scenarios, multiple instances of an object of interest are stacked in a pile randomly, and hence, the instances are inherently subjected to the challenges: severe occlusion, clutter, and similar-looking distractors. Most existing methods are, however, for single isolated object instances, while some recent methods tackle crowd scenarios as post-refinement which accounts multiple object relations. In this paper, we address recovering 6D poses of multiple instances in bin-picking scenarios in depth modality by multi-task learning in deep neural networks. Our architecture jointly learns multiple sub-tasks: 2D detection, depth, and 3D pose estimation of individual objects; and joint registration of multiple objects. For training data generation, depth images of physically plausible object pose configurations are generated by a 3D object model in a physics simulation, which yields diverse occlusion patterns to learn. We adopt a state-of-the-art object detector, and 2D offsets are further estimated via a network to refine misaligned 2D detections. The depth and 3D pose estimator is designed to generate multiple hypotheses per detection. This allows the joint registration network to learn occlusion patterns and remove physically implausible pose hypotheses. We apply our architecture on both synthetic (our own and Sileane dataset) and real (a public Bin-Picking dataset) data, showing that it significantly outperforms state-of-the-art methods by 15-31% in average precision.

研究の動機と目的

• 複数の同一オブジェクトが存在する、重度に遮蔽され混雑したビンピッキングシナリオにおける6次元オブジェクトポーズ推定の課題に対処する。
• 個々のインスタンスで学習する従来手法の限界を克服し、微調整のための後処理としてICPに依存するのを避ける。
• 2次元検出、6次元ポーズ推定、ジョイントレジストレーションを同時に学習することで、トレーニング中に相互遮蔽パターンをモデル化する。
• 物理ベースの3次元シミュレータを用いて、多様で物理的に妥当な遮蔽パターンを生成し、耐障害性の高いトレーニングデータを構築する。
• 外部の微調整を一切用いずに最先端の性能を達成し、重度の遮蔽と混雑状態に対して強い耐性を示す。

提案手法

• 共有バックボーン（VGG初期化）と3つのサブネットワーク（2次元検出、6次元ポーズ推定、ジョイントレジストレーション）を備えたマルチタスクディープニューラルネットワークを設計する。
• 予測されたオフセットを用いて初期バウンディングボックス予測を改善する2段階の2次元検出器を採用し、アノテーションとより良い一致を実現する。
• 1つの検出に対して複数のポーズ仮説を生成するように6次元ポーズ推定器を学習し、遮蔽や曖昧さに強い性能を実現する。
• 物理的に不適切なポーズ仮説を遮蔽の一貫性に基づいて評価・削除するジョイントレジストレーションネットワークを統合する。
• 物理ベースの3次元シミュレータを用いて、多様で現実的でない遮蔽パターンを含む合成トレーニングデータを生成する。
• 検出、深度、3次元ポーズ、ジョイントレジストレーションの監視を統合したマルチタスク損失関数を用いて、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクディープネットワークが、2次元検出、6次元ポーズ推定、ジョイントレジストレーションを同時に学習することで、混雑したシーンにおける性能向上を達成できるか？
• RQ2 トレーニング段階で遮蔽パターンを明示的にモデル化することで、後処理としてのICPへの依存が減少し、一般化性能が向上するか？
• RQ3 重度の遮蔽下において、本手法はRGBDおよび深度のみの最先端手法と比較して、平均精度（AP）でどの程度優れているか？
• RQ4 オフセットを用いた2次元検出の精緻化が、後続のポーズ推定およびレジストレーションタスクの精度にどの程度寄与するか？
• RQ5 微調整なしで、未学習の混雑背景やビンピッキングとは異なるシナリオに対しても、モデルが一般化できるか？

主な発見

• 本手法は、合成データ（Siléane）および実データ（公開ビンピッキング）の両方のデータセットで、最先端手法よりも15–31%高い平均精度を達成した。
• ICPの後処理を一切用いなくても、ICP依存の手法を上回る性能を示し、エンドツーエンドの遮蔽モデル化の有効性を裏付けた。
• アブレーションスタディの結果、2次元検出のオフセットヘッドを削除すると性能が著しく低下し、初期位置特定の正確性に重要な役割を果たしていることが示された。
• ビンピッキングでないデータセットでは、訓練時に前景のみのシーンに限定されたにもかかわらず、最先端手法（Kehl et al.）と同等の性能を示し、背景の混雑状態への一般化能力の高さを示した。
• 定性的な結果から、本手法は軽度から重度の遮蔽を受けてもオブジェクトのポーズを正しく回復している一方で、ベースライン手法は複数の遮蔽されたインスタンスを漏れなく検出できていない。
• GTX 1080ti上で1枚の深度画像あたり204msのテスト推論時間を達成し、リアルタイムのロボットアプリケーションへの実用的適合性を示した。