[論文レビュー] YOLOff: You Only Learn Offsets for robust 6DoF object pose estimation

Mathieu Gonzalez, Amine Kacete+2 more|arXiv (Cornell University)|Feb 3, 2020

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

YOLOffは、データ駆動型と幾何学的パイプラインを組み合わせた2段階の6DoFオブジェクトポーズ推定手法を提案する。まず、CNNを用いてRGB-D画像から2次元オブジェクト位置と3次元キーポイントオフセットを予測する。次に、予測された3次元キーポイントを標準3次元モデルと幾何学的登録により整合させ、最終的なポーズを計算する。本手法は、LineModデータセットにおいて最先端の手法を上回る高いロバスト性と精度を達成した。

ABSTRACT

Estimating the 3D translation and orientation of an object is a challenging task that can be considered within augmented reality or robotic applications. In this paper, we propose a novel approach to perform 6 DoF object pose estimation from a single RGB-D image in cluttered scenes. We adopt an hybrid pipeline in two stages: data-driven and geometric respectively. The first data-driven step consists of a classification CNN to estimate the object 2D location in the image from local patches, followed by a regression CNN trained to predict the 3D location of a set of keypoints in the camera coordinate system. We robustly perform local voting to recover the location of each keypoint in the camera coordinate system. To extract the pose information, the geometric step consists in aligning the 3D points in the camera coordinate system with the corresponding 3D points in world coordinate system by minimizing a registration error, thus computing the pose. Our experiments on the standard dataset LineMod show that our approach more robust and accurate than state-of-the-art methods.

研究の動機と目的

• 1枚のRGB-D画像を用いて、ごみや混雑したシーンにおける6DoFオブジェクトポーズ推定を改善すること。
• 遮蔽や視覚的ごみの影響を受ける中での正確でロバストな3次元オブジェクトポーズ推定の課題に対処すること。
• 深層学習によるキーポイント予測と幾何学的登録によるポーズ精練を組み合わせたハイブリッドアプローチの開発。
• 標準ベンチマークで最先端の手法を上回る精度とロバスト性を達成すること。

提案手法

• 局所的な画像パッチから2次元オブジェクト位置を検出するために分類用CNNを用いる。
• カメラ座標系におけるカメラ原点からのキーポイントの3次元オフセットを回帰用CNNが予測する。
• 複数の予測を集約し、各キーポイントの3次元位置をロバストに推定するために局所投票を適用する。
• 予測された3次元キーポイントとその標準3次元モデル対応点との間の整合誤差を最小化する幾何学的登録ステップにより、最終的な6DoFポーズを計算する。
• データ駆動型キーポイント予測と幾何最適化ステップを組み合わせることで、ポーズ精度を向上させる。
• RGB-D入力を活用し、深度情報を活かして3次元局所化の精度とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層学習と幾何最適化を組み合わせた2段階パイプラインは、ごみや混雑したシーンにおける6DoFポーズ推定を改善できるか？
• RQ2 RGB-D画像からの3次元キーポイントオフセット学習は、直接的な6DoF回帰と比較して、どの程度ロバスト性に優れているか？
• RQ3 ノイズや遮蔽の影響がある状況下で、局所投票は3次元キーポイント予測の信頼性をどの程度向上させるか？
• RQ4 エンドツーエンド学習に比べ、幾何学的登録ステップがポーズ精度を顕著に向上させるか？
• RQ5 標準ベンチマーク（例：LineMod）において、本手法は最先端の手法と比較してどの程度の性能を示すか？

主な発見

• YOLOffは、LineModベンチマークデータセットにおいて、最先端の手法を上回る高い精度とロバスト性を達成した。
• 局所投票の活用により、回帰用CNNからの3次元キーポイント予測の信頼性が顕著に向上した。
• データ駆動型と幾何学的最適化を組み合わせたハイブリッドパイプラインは、ごみや混雑した環境下で、純粋なエンドツーエンド学習手法を上回った。
• RGB-D入力による深度情報の統合により、3次元局所化の精度が向上し、ポーズ推定誤差が低減した。
• 幾何学的登録ステップにより、予測された3次元キーポイントと標準3次元モデル点との整合が図られ、残差誤差が効果的に低減した。