[論文レビュー] Robust RGB-based 6-DoF Pose Estimation without Real Pose Annotations

Zhigang Li, Yinlin Hu+2 more|arXiv (Cornell University)|Aug 19, 2020

Robot Manipulation and Learning参考文献 33被引用数 7

ひとこと要約

本論文は、実際のポーズアノテーションを一切使用せずに、LINEMODおよびOccluded-LINEMODで最先端の性能を達成する自己教師付き6自由度（6-DoF）ポーズ推定手法を提案する。実画像とその合成的オクルージョンを施した画像の間で6-DoFポーズの一貫性を、切断に基づくドメインランダマイゼーション戦略によって強制することで、重度のオクルージョンに対しても耐性を高めつつ、自己教師付き学習アーキテクチャを用いてラベルなし実画像データを活用する。

ABSTRACT

While much progress has been made in 6-DoF object pose estimation from a single RGB image, the current leading approaches heavily rely on real-annotation data. As such, they remain sensitive to severe occlusions, because covering all possible occlusions with annotated data is intractable. In this paper, we introduce an approach to robustly and accurately estimate the 6-DoF pose in challenging conditions and without using any real pose annotations. To this end, we leverage the intuition that the poses predicted by a network from an image and from its counterpart synthetically altered to mimic occlusion should be consistent, and translate this to a self-supervised loss function. Our experiments on LINEMOD, Occluded-LINEMOD, YCB and new Randomization LINEMOD dataset evidence the robustness of our approach. We achieve state of the art performance on LINEMOD, and OccludedLINEMOD in without real-pose setting, even outperforming methods that rely on real annotations during training on Occluded-LINEMOD.

研究の動機と目的

• 実際のポーズアノテーションが利用できない状況下で、重度のオクルージョンにさらされた6-DoFポーズ推定の耐性の欠如を解決すること。
• ラベルなし実画像を活用することで、現実世界のシナリオにおける汎化性能を向上させる自己教師付き学習フレームワークの開発。
• 大規模なオクルージョンに対処できない既存のドメインランダマイゼーション戦略の限界を克服すること。
• 現実的なオクルージョン状況下での耐性を評価するための新しいベンチマーク、Randomization LINEMOD（Rand-LINEMOD）を導入すること。
• 実際のポーズアノテーション付き学習データに依存せずに、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 実画像から画像パッチを除去することで、重度のオクルージョンをシミュレートする切断に基づくドメインランダマイゼーション（DR）戦略を提案。
• 元の実画像とそのDR増幅版の間で6-DoFポーズ予測の一貫性を強制する自己教師付き学習損失を設計。
• 元画像と増幅画像を処理する二重ブランチで重みを共有する自己教師付きシアンプスポーズネットワーク（SSPN）を導入。
• 合成データに真値ポーズを用いてネットワークを事前学習し、その後、ラベルなし実画像を用いて自己教師付き損失でファインチューニング。
• 合成DRデータと切断による増幅処理を施した実データを組み合わせることで、ドメインギャップを埋め、耐性を向上。
• ポーズの一貫性を強制するためにシアンプスアーキテクチャを採用し、オクルージョンに頑健な表現を学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 実際のポーズアノテーションが一切ない状況下で、自己教師付き学習が6-DoFポーズ推定の耐性を向上させられるか？
• RQ2 切断に基づくドメインランダマイゼーションは、重度のオクルージョンを効果的にシミュレートし、現実世界の設定での汎化性能を向上させられるか？
• RQ3 元画像と増幅画像の間のポーズ一貫性に基づく自己教師付き損失が、実際のアノテーションを一切使用せず、既存手法を上回る性能を発揮できるか？
• RQ4 本手法は、実際のポーズアノテーションに依存する最先端のアプローチと比較して、どのように性能を発揮するか？
• RQ5 本手法は、新たに導入されたRand-LINEMODデータセットのような重度のオクルージョンを伴う現実世界ベンチマークにも汎化可能か？

主な発見

• LINEMODデータセットでは、本手法がADDで81.06%の精度を達成し、ベースラインの67.6%から顕著な向上を示した。実際のポーズアノテーションは一切使用していない。
• Occluded-LINEMODデータセットでは、本手法がADDで42.3%の精度を達成し、以前の最先端手法（40.8%）を上回り、実アノテーションを用いた手法に対しても優位を保った。
• 実際のポーズアノテーション付きデータにアクセス可能な状況では、Occluded-LINEMODでADDで51.3%の精度を達成し、Occluded-LINEMODにおける新たな最先端性能を樹立した。
• YCBデータセットでも、全指標において性能向上を示し、LINEMODを越えた汎化性能を確認した。
• アブレーションスタディの結果、切断DRと自己教師付き学習の両方が不可欠であり、組み合わせによる性能向上が最大であった。