[論文レビュー] 6DoF Object Pose Estimation via Differentiable Proxy Voting Loss

Xin Yu, Zheyu Zhuang+2 more|arXiv (Cornell University)|Feb 10, 2020

Robot Manipulation and LearningEngineering参考文献 17被引用数 22

ひとこと要約

本稿では、6DoFオブジェクトポーズ推定のための微分可能プロキシ投票損失（DPVL）を提案する。DPVLは、ピクセルからキーポイントまでの距離を組み込み、誤った方向ベクトルによる仮説のずれを低減することで、ベクトル場回帰を改善する。DPVLによりエンドツーエンド学習が可能となり、LINEMODおよびOcclusion LINEMODデータセットで最先端の性能を達成し、収束が速くなる。

ABSTRACT

Estimating a 6DOF object pose from a single image is very challenging due to occlusions or textureless appearances. Vector-field based keypoint voting has demonstrated its effectiveness and superiority on tackling those issues. However, direct regression of vector-fields neglects that the distances between pixels and keypoints also affect the deviations of hypotheses dramatically. In other words, small errors in direction vectors may generate severely deviated hypotheses when pixels are far away from a keypoint. In this paper, we aim to reduce such errors by incorporating the distances between pixels and keypoints into our objective. To this end, we develop a simple yet effective differentiable proxy voting loss (DPVL) which mimics the hypothesis selection in the voting procedure. By exploiting our voting loss, we are able to train our network in an end-to-end manner. Experiments on widely used datasets, i.e., LINEMOD and Occlusion LINEMOD, manifest that our DPVL improves pose estimation performance significantly and speeds up the training convergence.

研究の動機と目的

• 単一のRGB入力において、オクルージョンやテクスチャレスな外観の下で不正確な6DoFポーズ推定が生じる課題に対処すること。
• キーポイントから離れたピクセルにおける方向ベクトルの微小な誤差が、キーポイント投票における仮説のずれを引き起こす理由を低減すること。
• 従来の投票手法（例：RANSAC）が非微分可能であるのを克服し、エンドツーエンド学習が可能な、投票手順を模倣する微分可能な損失関数を開発すること。
• オクルージョンデータの再トレーニングなしに、ポーズ推定のロバスト性と学習収束速度を向上させること。
• 方向ベクトルの正確さとピクセルからキーポイントまでの距離の両方を考慮したプロキシ仮説を介して、正確なキーポイント局所化を可能にすること。

提案手法

• DPVLは、各ピクセルに対して、そのピクセルと予測された方向ベクトルが定める直線から、真値キーポイントへの垂線の足を用いてプロキシ仮説を生成する。
• 損失関数は、各プロキシ仮説と対応する真値キーポイントとの距離を最小化することで、方向ベクトルの正確さと空間的距離の両方を統合する。
• 垂線の足の計算は微分可能であり、エンドツーエンド学習中に投票の近似をバックプロパゲーション可能にする。
• プロキシ投票損失と標準的なベクトル場回帰損失は、学習可能パラメータλを介して組み合わされ、両目的のバランスを取る。
• 公平な比較のため、ネットワークアーキテクチャとデータパイプラインはPVNetと同一に保ち、損失関数のみを変更する。
• 学習収束が加速され、モデルはPVNetと比較して100エポックで最適性能に到達する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、微分可能な監視を用いて、オクルージョンおよびテクスチャレスな状況下での6DoFオブジェクトポーズ推定を改善できるか？
• RQ2 なぜ、キーポイントから離れたピクセルにおける小さな方向ベクトルの誤差が、投票ベースのキーポイント推定における大きな仮説のずれを引き起こすのか？
• RQ3 投票プロセスを近似し、ピクセルからキーポイントまでの距離を考慮する微分可能な損失関数を設計できるか？
• RQ4 損失関数に空間的距離を組み込むことで、キーポイント局所化の精度と学習収束速度が向上するか？
• RQ5 オクルージョンデータの再トレーニングなしに、標準的なベクトル場回帰を上回る微分可能プロキシ投票損失を設計できるか？

主な発見

• 提案されたDPVLは、LINEMODおよびOcclusion LINEMODデータセットで最先端の性能を達成し、PVNetや他のSOTA手法を上回る。
• Occlusion LINEMODデータセットでは、全体的なADD(-S)スコアで最高を記録し、オクルージョンに対する優れたロバスト性を示している。
• モデルの収束が顕著に速く、PVNetと比較して100エポックで最適性能に到達する。
• プロキシ仮説の分布が真値キーポイントの周囲に集中していることが示され、ベクトル場の質と投票の一貫性が向上している。
• アブレーションスタディにより、λ = 1e-3が最良のトレードオフを提供することが確認され、値が大きすぎたり小さすぎたりすると性能が低下する。
• 一般化性能が高く、オクルージョンデータに対するファインチューニングなしに強力な結果を達成しており、他の手法が同様のデータで再トレーニングを必要とするのとは対照的である。