[論文レビュー] Direct-PoseNet: Absolute Pose Regression with Photometric Consistency

Shuai Chen, Zirui Wang+1 more|arXiv (Cornell University)|Apr 8, 2021

Advanced Vision and Imaging参考文献 57被引用数 6

ひとこと要約

Direct-PoseNet は、光度的監視のための微分可能レンダリングに基づく直接一致モジュールを統合することで、姿勢回帰の精度を向上させる、画素単位の絶対姿勢回帰（APR）手法を提案する。この手法により、姿勢と画像再構成の両方の損失を用いたエンド・ツー・エンド学習が可能となり、7-Scenes および LLFF ベンチマークで最先端の性能を達成し、従来の APR メソッドを上回りながら、低遅延の推論を維持する。

ABSTRACT

We present a relocalization pipeline, which combines an absolute pose regression (APR) network with a novel view synthesis based direct matching module, offering superior accuracy while maintaining low inference time. Our contribution is twofold: i) we design a direct matching module that supplies a photometric supervision signal to refine the pose regression network via differentiable rendering; ii) we modify the rotation representation from the classical quaternion to SO(3) in pose regression, removing the need for balancing rotation and translation loss terms. As a result, our network Direct-PoseNet achieves state-of-the-art performance among all other single-image APR methods on the 7-Scenes benchmark and the LLFF dataset.

研究の動機と目的

• 単一画像からの絶対姿勢回帰（APR）と 3D ストラクチャに基づく手法との間の精度格差を是正すること。この場合、深度情報や SfM データの必要があることが一般的である。
• ビジュアルオドメトリーやポーズグラフ最適化などの外部監視に依存せずに、APR の性能を向上させること。
• トレーニング中に光度的一致性を監視信号として統合し、姿勢回帰のロバスト性を向上させること。
• 自己教師あり光度損失を用いることで、ラベルなしデータの有効活用を可能とし、追加のアノテーションなしに一般化性能を向上させること。

提案手法

• ポーズ回帰ネットワークは、転移学習で微調整された CNN バックボーンを用いて、1枚の RGB イメージから 6-DoF カメラポーズを予測する。
• 微分可能ニューラルレンダリングモジュールは、予測されたポーズを用いて 3D シーンの新規ビューを合成し、光度的監視のための合成画像を生成する。
• 本手法は、真値ポーズ損失と、入力クエリ画像とレンダリング画像の間の光度的再構成損失を組み合わせたマルチ損失トレーニング目的関数を採用する。
• 画像類似度の勾配を逆伝播することで、ポーズ予測の精練を可能にする微分可能レンダリングパイプラインにより、光度的一致性が強制される。
• 直接一致モジュールにより、クエリ画像とレンダリング画像の間の光度誤差を最小化することで、ラベルなし画像を自己教師ありで有効活用できる。
• トレーニングプロセスはエンド・ツー・エンドであり、光度損失からレンダリングネットワークを経由してポーズ回帰器へ勾配が伝わる。

実験結果

リサーチクエスチョン

• RQ1 微分可能レンダリングからの光度的一致性は、単一画像絶対姿勢回帰の精度を向上させることができるか？
• RQ2 相対的ポーズや幾何的制約を必要とせずに、ラベルなし画像を APR に効果的に活用できるか？
• RQ3 直接画像一致の監視信号を統合することで、標準のポーズ回帰損失のみに比べ、一般化性能とロバスト性が向上するか？
• RQ4 直接一致モジュールは、低遅延を維持しながら APR で最先端の性能を達成できるか？

主な発見

• Direct-PoseNet は 7-Scenes ベンチマークで最先端の性能を達成し、ラベルなしデータを用いることで平均中央誤差を 0.16m に、回転誤差を 5.17° にまで低減した。
• LLFF データセットでは、既存の単一画像 APR メソッドを上回り、多様なシーンにわたる強力な一般化性能を示した。
• 光度損失の統合により、テクスチャが乏しく、背景が平坦なシーン（例：NeRF Synthetic の Lego シーン）においても性能が顕著に向上した。このような状況では、ポーズ損失のみでは予測の正則化が不十分であった。
• デフォルトの損失重み（λ₁=0.3, λ₂=0.7）であっても、光度損失がトレーニングを支配することが示され、ポーズ精練を効果的に導くことが証明された。
• 本手法は低遅延を維持しており、1枚あたり 6ms 未満で動作するため、リアルタイムデプロイメントに適している。
• アブレーションスタディの結果、ポーズ損失と光度損失の両方が不可欠であることが確認された。両方の損失を除去すると、特に困難なシーンで性能が著しく低下した。