[論文レビュー] RPBA -- Robust Parallel Bundle Adjustment Based on Covariance Information

Helmut Mayer|arXiv (Cornell University)|Oct 17, 2019

Advanced Vision and Imaging参考文献 37被引用数 6

ひとこと要約

本稿では、3次元点の交差から得られる共分散情報によって、一貫性に基づく手法におけるペナルティパラメータを置き換えることで、調整なしで高速かつ安定した収束を実現する、ロバストな並列バンドル調整手法RPBAを提案する。固定カメラを用いて3次元点を調整し、その共分散を活用することで、最先端の並列SfM手法よりも少ない反復回数で高品質な結果が得られる。

ABSTRACT

A core component of all Structure from Motion (SfM) approaches is bundle adjustment. As the latter is a computational bottleneck for larger blocks, parallel bundle adjustment has become an active area of research. Particularly, consensus-based optimization methods have been shown to be suitable for this task. We have extended them using covariance information derived by the adjustment of individual three-dimensional (3D) points, i.e., "triangulation" or "intersection". This does not only lead to a much better convergence behavior, but also avoids fiddling with the penalty parameter of standard consensus-based approaches. The corresponding novel approach can also be seen as a variant of resection / intersection schemes, where we adjust during intersection a number of sub-blocks directly related to the number of threads available on a computer each containing a fraction of the cameras of the block. We show that our novel approach is suitable for robust parallel bundle adjustment and demonstrate its capabilities in comparison to the basic consensus-based approach as well as a state-of-the-art parallel implementation of bundle adjustment. Code for our novel approach is available on GitHub: https://github.com/helmayer/RPBA

研究の動機と目的

• 大規模な構造から姿勢推定（SfM）パイプラインにおけるバンドル調整の計算ボトルネックを解消すること。
• 一貫性に基づく並列バンドル調整手法におけるペナルティパラメータρの手動チューニングの必要性を克服すること。
• 部分ブロック調整中に3次元点交差からの共分散情報を組み込むことで、収束の安定性と精度を向上させること。
• スレッドレベルの独立性を活用しながらも、高品質な解を維持する、効率的でスケーラブルな並列処理を可能にすること。
• 点交差および再焦点段階で外れ値検出を統合するロバストな推定フレームワークの構築。

提案手法

• 固定カメラを用いた3次元点交差から導出される逆共分散行列によって、一貫性に基づくバンドル調整におけるグローバルペナルティ重み（ρ）を置き換える。
• 部分ブロック間で前方交差を実行し、正確な座標と完全な共分散行列を計算する。
• 共分散情報を利用してバンドル調整プロセスにおける結束点（TPs）を重み付けし、ρの必要性を排除する。
• 残差統計に基づいて外れ値を検出し除外することで、交差段階でロバスト推定を実装する。
• 可視性グラフ（カメラをノード、共有される3次元点をエッジとする）のクラスタリングを用いてブロックを部分ブロックに分割し、負荷分散を均等にする。
• スレッド間で3次元点座標およびその共分散を交換・平均化することで結果を同期し、幾何学的整合性を保持する。

実験結果

リサーチクエスチョン

• RQ1 3次元点交差からの共分散情報が、一貫性に基づく並列バンドル調整におけるペナルティパラメータρを置き換えることで、チューニングなしで収束を改善できるか？
• RQ2 共分散重み付き3次元点を用いることで、標準的一貫性ベース手法と比較して収束速度と解の精度にどのような影響を与えるか？
• RQ3 交差に基づく外れ値検出を介して、ロバスト推定を並列バンドル調整パイプラインに効果的に統合できるか？
• RQ4 提案手法は、著しく計算時間を短縮しつつも、逐次バンドル調整と同等の解の品質を維持できるか？
• RQ5 大規模SfM応用において、スレッド数およびブロックサイズの増加に伴い、RPBAの性能はどのようにスケーリングするか？

主な発見

• Dinoデータセットにおいて、RPBAはシリアル処理の155.6秒から5スレッド並列処理の53.1秒に計算時間を短縮し、3.8倍の高速化を達成した。
• 最終的な再投影誤差σ₀は、シリアル処理の0.41ピクセルから並列処理の0.40ピクセルに低下し、同等の精度が維持された。
• 並列処理とシリアル処理の解の分散比は0.983 ± 0.023（中央値0.981）であり、解の品質が保持されていることを確認した。
• シリアル処理と並列処理の間で複数のカメラに投影される点の数はほぼ同一であり、ブロックの安定性が優れていることを示した。
• 共分散によるより明確な重み付けのおかげで、標準的一貫性ベース手法よりもはるかに少ない反復回数で収束した。
• 交差段階での外れ値検出により、ノイズが多いまたは誤合致の観測に対しても耐性が向上するロバスト推定が実現された。