[論文レビュー] A Novel Pose Proposal Network and Refinement Pipeline for Better Object Pose Estimation

Ameni Trabelsi, Mohamed Chaabane+2 more|arXiv (Cornell University)|Apr 11, 2020

Robot Manipulation and Learning参考文献 20被引用数 1

ひとこと要約

本論文は、RGB画像からの6次元オブジェクトポーズ推定のための2段階のディーブラーニングパイプラインを提案する。この手法は、領域提案ネットワークと、視覚的特徴およびフロー特徴を活用してポーズを反復的に精緻化するマルチアテンションポーズ精緻化ネットワーク（MARN）を組み合わせるものである。本手法は、3つのベンチマークで最先端の性能を達成し、競争的な推論速度を実現した。

ABSTRACT

In this paper, we present a novel deep learning pipeline for 6D object pose estimation and refinement from RGB inputs. The first component of the pipeline leverages a region proposal framework to estimate multi-class single-shot 6D object poses directly from an RGB image and through a CNN-based encoder multi-decoders network. The second component, a multi-attentional pose refinement network (MARN), iteratively refines the estimated pose. MARN takes advantage of both visual and flow features to learn a relative transformation between an initially predicted pose and a target pose. MARN is further augmented by a spatial multi-attention block that emphasizes objects' discriminative feature parts. Experiments on three benchmarks for 6D pose estimation show that the proposed pipeline outperforms state-of-the-art RGB-based methods with competitive runtime performance.

研究の動機と目的

• 単一のRGB画像からの6次元オブジェクトポーズ推定の精度を、ディープラーニングを用いて向上させること。
• オクルージョンやごみの多い複雑なシーンにおいて、正確かつロバストな6次元ポーズ予測を実現する課題に対処すること。
• 視覚的特徴とフロー特徴の両方を効果的に活用する精緻化機構を構築すること。
• 空間的マルチアテンションを用いて、物体の特徴的な部分に注目することで、特徴学習を強化すること。
• リアルタイム応用に適した、競争的な実行時間効率を実現する高精度な性能を達成すること。

提案手法

• パイプラインは、マルチデコーダーを備えたCNNベースのエンコーダーを用い、RGB画像から直接にマルチクラスのワンショット6次元オブジェクトポーズ提案を生成する。
• マルチアテンションポーズ精緻化ネットワーク（MARN）は、視覚的特徴および光学的フロー特徴を用いて、初期のポーズ予測を反復的に精緻化する。
• MARNは、物体の特徴的な部分を強調することで特徴表現を向上させる空間的マルチアテンションブロックを組み込む。
• 精緻化プロセスは、エンドツーエンド微分可能な形で、初期予測ポーズとターゲットポーズの相対変換を学習する。
• ネットワークは、6次元ポーズアノテーションの監督のもとで、RGB画像上でエンドツーエンドに訓練される。
• フレームワークは、性能と効率性を検証するため、3つの標準的な6次元ポーズ推定ベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 単一段階の領域提案ネットワークは、RGB入力のみで正確な6次元オブジェクトポーズ推定を達成できるか？
• RQ2 視覚的特徴とフロー特徴を、精緻化ネットワークで効果的に統合することで、ポーズ精度をどの程度向上できるか？
• RQ3 空間的マルチアテンション機構は、6次元ポーズ推定における特徴学習をどの程度向上させるか？
• RQ4 提案されたパイプラインは、競争的な推論速度を維持しながら最先端の性能を達成できるか？
• RQ5 オクルージョンやごみの多い状況などの困難な条件下でも、本手法はどの程度ロバストか？

主な発見

• 提案されたパイプラインは、3つの標準的な6次元ポーズ推定ベンチマークで、既存の最先端のRGBベース手法を上回った。
• マルチアテンションポーズ精緻化ネットワーク（MARN）は、視覚的特徴とフロー特徴を効果的に活用することで、ポーズ精度を顕著に向上させた。
• 空間的マルチアテンションブロックは、物体の特徴的な部分に注目することで、特徴の識別性を向上させ、性能を向上させた。
• 本手法は、競争的な実行時間性能を達成しており、リアルタイム応用に適している。
• アブレーションスタディにより、各構成要素の有効性が確認され、特に精緻化段階におけるフローフィーチャーと視覚的特徴の統合が顕著な効果を示した。
• 本パイプラインは、多様なオブジェクトカテゴリおよび困難なシーン条件において、優れた一般化性能を示した。