[論文レビュー] PnP-Net: A hybrid Perspective-n-Point Network

Roy Sheffer, Ami Wiesel|arXiv (Cornell University)|Mar 10, 2020

Robotics and Sensor-Based Localization参考文献 25被引用数 6

ひとこと要約

PnP-Net は、対応誤りが存在する状況下でもロバストな6次元カメラポーズ推定を実現する、深層学習とモデルベース手法を融合したハイブリッドアプローチを提案する。深層ニューラルネットワークを用いて粗いロバストな初期化を実施し、その後に微分可能 IRLS-LM 最適化を適用することで、固定で低い計算コストを維持しながら最先端の精度を達成。合成データおよび実世界データにおいて、RANSAC と同等の性能を示すが、それよりも数個のオーダー速い。

ABSTRACT

We consider the robust Perspective-n-Point (PnP) problem using a hybrid approach that combines deep learning with model based algorithms. PnP is the problem of estimating the pose of a calibrated camera given a set of 3D points in the world and their corresponding 2D projections in the image. In its more challenging robust version, some of the correspondences may be mismatched and must be efficiently discarded. Classical solutions address PnP via iterative robust non-linear least squares method that exploit the problem's geometry but are either inaccurate or computationally intensive. In contrast, we propose to combine a deep learning initial phase followed by a model-based fine tuning phase. This hybrid approach, denoted by PnP-Net, succeeds in estimating the unknown pose parameters under correspondence errors and noise, with low and fixed computational complexity requirements. We demonstrate its advantages on both synthetic data and real world data.

研究の動機と目的

• 入力の対応関係に不一致やノイズが含まれる状況下でのロバストな Perspective-n-Point (PnP) 問題を解決すること。
• RANSAC や反復的非線形最小二乗法といった古典的手法が繰り返しサンプリングや初期化の質の低さにより遅延する問題を軽減すること。
• 深層学習によるロバストな初期化とモデルベース最適化による精緻化を統合した、1回のスナップショットで終端から終端まで微分可能なフレームワークを構築すること。
• 過学習を避けながら、合成学習データから実世界のシナリオへの一般化を可能にすること、特にトレーニング時に見られなかった外れ値の分布に対しても有効であること。

提案手法

• PointNet をベースとする深層ニューラルネットワークが、3次元-2次元の対応関係を処理し、粗いロバストな初期ポーズ推定を生成する。
• ネットワークは、エンドツーエンドの精緻化を可能にするために、微分可能な IRLS-LM（反復的重み付き最小二乗法 - レーベンバーグ・マーカート法）最適化ステージと同時に訓練される。
• パイプライン全体が微分可能であり、ニューラルネットワークと最適化ステップの両方に対してバックプロパゲーションが可能である。
• 理論的 PnP モデルから生成された合成データを用いて、制御されたノイズおよび外れ値の条件下でネットワークを訓練する。
• 外れ値の処理は、ロバストな損失関数（例：Huber 損失）および IRLS-LM ステージにおける反復的重み付けによって実現される。
• 非一様なポーズ分布を含む、外れ値数や事前分布の変化を想定した評価が行われ、トレーニング時とは異なる分布に対しても有効である。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、対応不一致やノイズに対して耐性を持つ、正確な初期ポーズ推定を提供できるか？
• RQ2 深層学習と微分可能なモデルベース最適化を組み合わせることで、純粋な深層学習や古典的手法よりも高い精度と効率が得られるか？
• RQ3 合成データで学習したシステムは、トレーニング時に見られなかった外れ値パターンや分布を持つ実世界データに対しても、効果的に一般化できるか？
• RQ4 RANSAC や REPPnP-LM といった最先端手法と比較して、ハイブリッドアプローチは精度と計算コストの両面で優れているか？
• RQ5 推論時のポーズ分布がトレーニング時の分布と異なる場合、この手法はどの程度ロバストに保たれるか？

主な発見

• PnP-Net は、合成データおよび実世界データの両方で RANSAC と同等の成功確率を達成しており、固定で低い計算コストを維持している。
• 外れ値を含む合成データにおいて、PnP-Net は REPPnP-LM や他の競合手法を顕著に上回り、推論時のポーズ事前分布がトレーニング時と異なる場合でも同様の優位性を示した。
• ETH3D ベンチマークの実世界データに対しても、過学習を示さず、合成実験と同様の性能トレンドを示した。
• トレーニング時とは異なり、外れ値数が一定（一様にランダムでない）な条件下でも、PnP-Net は REPPnP-LM を一貫して上回った。特に外れ値が4個未満の場合は顕著であった。
• ポーズの並進事前分布を一様分布から正規分布に変更しても、ネットワークの成功率はわずかに低下したが、依然としてすべての競合手法を上回った。
• エンドツーエンドの微分可能訓練により、ニューラルネットワークと IRLS-LM 精緻化の両方の最適化が効果的に統合され、ロバストで正確なポーズ推定が実現した。