[論文レビュー] 6D Pose Estimation with Correlation Fusion

Yi Cheng, Hongyuan Zhu+7 more|arXiv (Cornell University)|Sep 24, 2019

Robot Manipulation and Learning参考文献 33被引用数 8

ひとこと要約

本稿では、RGB-Dデータを用いた6次元オブジェクトポーズ推定のための新規な相関融合（CF）フレームワークを提案する。自己注意機構を用いてモダリティ内およびモダリティ間の相関をモデル化することで、識別性が高く多モodalな特徴を学習する。本手法はLineMODおよびYCB-Videoベンチマークで最先端の性能を達成し、ロボットの grasping タスクにおけるリアルタイムかつ高精度なポーズ推定を可能にする。

ABSTRACT

6D object pose estimation is widely applied in robotic tasks such as grasping and manipulation. Prior methods using RGB-only images are vulnerable to heavy occlusion and poor illumination, so it is important to complement them with depth information. However, existing methods using RGB-D data cannot adequately exploit consistent and complementary information between RGB and depth modalities. In this paper, we present a novel method to effectively consider the correlation within and across both modalities with attention mechanism to learn discriminative and compact multi-modal features. Then, effective fusion strategies for intra- and inter-correlation modules are explored to ensure efficient information flow between RGB and depth. To our best knowledge, this is the first work to explore effective intra- and inter-modality fusion in 6D pose estimation. The experimental results show that our method can achieve the state-of-the-art performance on LineMOD and YCB-Video dataset. We also demonstrate that the proposed method can benefit a real-world robot grasping task by providing accurate object pose estimation.

研究の動機と目的

• 遮蔽、照明不良、対称的物体の曖昧さといったRGBのみの手法や既存のRGB-D手法の限界を克服すること。
• RGBと深度の間の一貫性があり補完的な特徴を効果的に活用することで、6次元ポーズ推定を向上させること。
• 多モーダル特徴を相関モデリングによって統合する、識別性の高い表現を強化する包括的なディーブラーニングフレームワークを構築すること。
• ロボット操作タスクへの実装を想定し、高い精度を維持しながらリアルタイム推論速度を達成すること。
• 最小限のファインチューニングで実世界のロボット grasping シナリオにおいて実用的であることを実証すること。

提案手法

• 自己注意機構を用いて各モダリティ内での顕著な特徴を学習する、モダリティ内相関モデリング（IntraMCM）を導入する。
• クロスアテンションを用いてRGBと深度の間で補完的な特徴を捉える、モダリティ間相関モデリング（InterMCM）を提案する。
• モダリティ内およびモダリティ間の相関特徴のための複数の統合戦略を設計し、効率的かつ効果的な情報伝達を確保する。
• エンドツーエンドのディープネットワークを実装し、特徴学習とポーズ回帰を同時に最適化することで、リアルタイム推論を可能にする。
• 粗い予測を深度情報を使って精緻化するリファイナーヘッドを活用し、最終的なポーズ精度を向上させる。
• アノテート済みのRGB-Dデータセット上で標準的な6次元ポーズ損失関数を用い、バックプロパゲーションによる最適化でモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 モダリティ内相関モデリングは、6次元ポーズ推定におけるRGBおよび深度モダリティ内での特徴表現を向上させることができるか？
• RQ2 モダリティ間相関モデリングは、RGBと深度間の補完的特徴を効果的に捉え、ポーズ精度を向上させることができるか？
• RQ3 モダリティ内およびモダリティ間の相関特徴の統合戦略の違いが、全体の性能および推論効率に与える影響は何か？
• RQ4 提案された相関融合フレームワークは、LineMODおよびYCB-Videoといった標準ベンチマークで既存のRGB-D手法を上回ることができるか？
• RQ5 高精度な6次元ポーズ推定によって、実世界のロボット grasping の成功率がどの程度向上するか？

主な発見

• YCB-Videoデータセットにおいて、本手法はPoseCNNおよびDenseFusionを13.21%および4.71%上回り、ADD(-S) <2cmの指標で最先端の性能を達成した。
• LineMODデータセットでは、比較手法の中で最高の性能を示し、遮蔽および対称性に対して優れたロバストネスを示した。
• フルモデルは単一のNVIDIA GTX 2080 Ti GPU上で約20 FPS（1インスタンスあたり49.8ms）で動作し、リアルタイムデプロイメントを可能にした。
• シミュレーションでは、トマトスープ缶の grasping の成功率が90.0%に達し、DenseFusionの80.0%を上回った。全テストオブジェクトで一貫した改善が得られた。
• 実世界のロボット grasping タスクにおいて、実データへの追加のファインチューニングなしに高い成功率を達成した。これにより、汎化性とロバストネスが実証された。
• 可視化結果では、重度の遮蔽や対称的物体の状況においてDenseFusionに比べ顕著な改善が見られたが、極めて対称的かつ重度に遮蔽されたケースでは依然課題が残っている。