[論文レビュー] Proxy Templates for Inverse Compositional Photometric Bundle Adjustment

Christopher Ham, Simon Lucey+1 more|arXiv (Cornell University)|Apr 23, 2017

Robotics and Sensor-Based Localization参考文献 8被引用数 3

ひとこと要約

本稿では、逆合成的光度最適化束縛調整（PBA）を6自由度（6-DoF）カメラポーズおよび逆深度で可能にするためのプロキシテンプレートを提案する。標準の逆合成的手法では、悪条件な導関数が問題となるが、初期推定値を用いて基準テンプレートをワープすることで、有効な勾配が得られ、前向き合成的PBAに比べ最大13倍の高速化を達成し、精度の損失は最小限に抑える。

ABSTRACT

Recent advances in 3D vision have demonstrated the strengths of photometric bundle adjustment. By directly minimizing reprojected pixel errors, instead of geometric reprojection errors, such methods can achieve sub-pixel alignment accuracy in both high and low textured regions. Typically, these problems are solved using a forwards compositional Lucas-Kanade formulation parameterized by 6-DoF rigid camera poses and a depth per point in the structure. For large problems the most CPU-intensive component of the pipeline is the creation and factorization of the Hessian matrix at each iteration. For many warps, the inverse compositional formulation can offer significant speed-ups since the Hessian need only be inverted once. In this paper, we show that an ordinary inverse compositional formulation does not work for warps of this type of parameterization due to ill-conditioning of its partial derivatives. However, we show that it is possible to overcome this limitation by introducing the concept of a proxy template image. We show an order of magnitude improvement in speed, with little effect on quality, going from forwards to inverse compositional in our own photometric bundle adjustment method designed for object-centric structure from motion. This means less processing time for large systems or denser reconstructions under the same real-time constraints. We additionally show that this theory can be readily applied to existing methods by integrating it with the recently released Direct Sparse Odometry SLAM algorithm.

研究の動機と目的

• 構造を逆深度でパrameter化する場合、逆合成的光度最適化束縛調整における偏微分の悪条件性を解消すること。
• 深さの導関数が恒等ワープで消えるという制限を克服することで、大規模な光度最適化束縛調整を効率的に行えるようにすること。
• 有効な勾配計算を可能にするプロキシワープ定式化を開発すること。
• カスタムPBAおよびDirect Sparse Odometry（DSO）のような既存のSLAMシステムへの統合において、顕著な高速化を示すこと。
• 計算制約が厳しい環境下でも、密な再構築および大規模SfMシステムでリアルタイム性能を達成すること。

提案手法

• 初期ポーズおよび深度推定値を用いて基準テンプレートを最初にワープすることで、恒等ワープの新たな評価点を生成するプロキシワープを導入する。
• プロキシワープを $\phi(\mathbf{x};\Delta\mathbf{p}) = \left< \mathbf{M}(\mathbf{R}\tilde{\mathbf{x}} + d\mathbf{t}) \right> $ と定義する。ここで $\mathbf{R} = \Delta\mathbf{R}\mathbf{R}_0$, $\mathbf{t} = \mathbf{t}_0 + \Delta\mathbf{t}$, および $d = d_0 + \Delta d$ であり、$\phi(\mathbf{x};\mathbf{0}) = \mathbf{x}$ を満たす。
• ワープされたテンプレートを用いて逆合成的更新のための勾配を計算し、各反復でヘシアンを再計算する必要がなくなる。
• プロキシテンプレートを用いて、パrameterに関する残差のヤコビアンを推定することで、効率的な逆合成的更新を可能にする。
• 本手法をカスタム光度最適化束縛調整パイプラインおよびDirect Sparse Odometry（DSO）アルゴリズムに統合して適用する。
• 最適化ごとにヘシアンを一度だけ再計算することで、大規模問題における計算コストを顕著に削減する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準の逆合成的定式化は、6-DoFポーズおよび逆深度でパrameter化された光度最適化束縛調整では失敗するのか？
• RQ2 恒等ワープにおいて、ワープ関数のすべての偏微分がゼロでないようなプロキシテンプレートを構築できるか？
• RQ3 提案されたプロキシワープ定式化は、光度最適化束縛調整における有効かつ効率的な逆合成的更新を可能にするか？
• RQ4 前向き合成的PBAに置き換えることで、速度および収束性にどの程度の向上が得られるか？
• RQ5 プロキシテンプレート手法は、DSOのような既存のSLAMシステムに効果的に統合可能か？

主な発見

• Toy Robotシーケンスでは、逆合成的手法が前向き合成的手法に比べ13倍の高速化を達成し、反復回数も少なく、ポーズ推定の相対誤差も低い。
• Stanford Bunnyシーケンスでは、逆合成的手法が前向き手法に比べ四分の一以下の時間で収束し、4倍の高速化を達成した。
• 合成された真値シーケンスでは、逆合成的手法が前向き手法に比べ7倍以上高速であり、わずかに高いポーズ誤差と低い深度誤差を示した。
• Direct Sparse Odometry（DSO）への統合により、トラッキングフレームレートが40％向上し、最終的なカメラパス差は元のDSOと比較してわずか0.047単位にとどまった。
• 本手法は、顕著な高速化にもかかわらず、精度の低下を最小限に抑え、高い再構築品質を維持した。
• プロキシテンプレートアプローチにより、かつて深さの導関数が悪条件であるがゆえに実行不可能であった光度最適化束縛調整における逆合成的最適化が可能になった。