[論文レビュー] Robust Camera Location Estimation by Convex Programming

Onur Özyeşil, Amit Singer|arXiv (Cornell University)|Nov 29, 2014

Robotics and Sensor-Based Localization参考文献 38被引用数 5

ひとこと要約

本論文では、構造から運動におけるノイズや外れ値で汚染されたペアワイズ方向測定値に対処するため、凸プログラミングを用いたロバストなカメラ位置推定手法を提案する。平行剛性理論と2段階のアプローチ（ロバストな方向推定、その後に続く凸最適化）を活用することで、部分的に汚染されたデータに対してもカメラ位置の正確な回復を達成し、実際のインターネット写真コレクションにおいて、既存手法よりも精度と安定性に優れる。

ABSTRACT

$3$D structure recovery from a collection of $2$D images requires the estimation of the camera locations and orientations, i.e. the camera motion. For large, irregular collections of images, existing methods for the location estimation part, which can be formulated as the inverse problem of estimating $n$ locations $\mathbf{t}_1, \mathbf{t}_2, \ldots, \mathbf{t}_n$ in $\mathbb{R}^3$ from noisy measurements of a subset of the pairwise directions $\frac{\mathbf{t}_i - \mathbf{t}_j}{\|\mathbf{t}_i - \mathbf{t}_j\|}$, are sensitive to outliers in direction measurements. In this paper, we firstly provide a complete characterization of well-posed instances of the location estimation problem, by presenting its relation to the existing theory of parallel rigidity. For robust estimation of camera locations, we introduce a two-step approach, comprised of a pairwise direction estimation method robust to outliers in point correspondences between image pairs, and a convex program to maintain robustness to outlier directions. In the presence of partially corrupted measurements, we empirically demonstrate that our convex formulation can even recover the locations exactly. Lastly, we demonstrate the utility of our formulations through experiments on Internet photo collections.

研究の動機と目的

• ノイズや外れ値で汚染されたペアワイズ方向測定値が存在する状況下で、既存のカメラ位置推定手法の不安定性を解消すること。
• 平行剛性理論を用いて、カメラ位置推定問題の適切に定式化されたインスタンスを完全に特徴付けること。
• 外れ値を含む実世界の画像コレクションにおける方向測定値に対しても精度を維持できる、ロバストで凸最適化に基づく手法を開発すること。
• 構造から運動パイプラインにおけるバンドル調整の高品質な初期化を可能にするために、正確なカメラ位置推定を提供すること。

提案手法

• 本手法は2段階のパイプラインを導入する：まず、誤って特定された点対応による誤差を軽減するロバストなペアワイズ方向推定ステップ。
• 次に、方向測定誤差のL1ノルムを最小化する凸最適化定式化——「最小絶対偏差（LUD）ソルバ）」を採用し、外れ値に対して高いロバスト性を実現。
• LUDソルバは凸計画問題として定式化され、ノイズのあるペアワイズ方向ベクトルから3次元カメラ位置を推定し、グローバル最適性と安定性を保証する。
• 平行剛性理論との理論的関連を活用して、信頼性の高い推定が可能な画像の適切に定式化されたサブセットを同定する。
• 事前処理ステップとして、数値的安定性を向上させるとともに誤差伝搬を低減するため、最大の並列剛性成分を抽出する。
• 本手法は実際のインターネット写真コレクションを用いて評価され、最終的な3次元構造はバンドル調整によって精錬される。

実験結果

リサーチクエスチョン

• RQ1 カメラ位置推定問題が適切に定式化される条件は何か？ そして、これはどのように平行剛性理論を用いて特徴付けられるか？
• RQ2 方向測定値が外れ値によって部分的に汚染されている場合、凸最適化定式化がカメラ位置の正確な回復を達成できるか？
• RQ3 外れ値の存在下で、本手法のLUDソルバはCLS、SDR、1DSfMといった既存手法と比較して、ロバスト性と精度で優れているか？
• RQ4 ロバストな方向推定と凸プログラミングが組み合わさることで、構造から運動パイプラインにおける初期化品質はどの程度向上するか？

主な発見

• LUDソルバは、方向測定値の50％まで汚染されていても、カメラ位置の正確な回復を達成する。これはCLSやSDRのような他のソルバでは観察されない特性である。
• 実験的結果から、LUDソルバは特に外れ値率が高い状況下でも、CLS、SDR、1DSfMの手法よりも顕著に高い精度のカメラ位置推定を実現している。
• Piazza del Popolo や Yorkminster といった実世界のデータセットにおいて、バンドル調整後、LUDソルバはCLの方法と比較して、並進誤差を最大80％まで低減した。
• 計算コストはCLSや1DSfMと比較してわずかに高いにとどまり、Vienna Cathedral（10,000枚以上の画像）のような大規模データセットでも、総実行時間は10分未満であった。
• ロバストな方向推定とLUDソルバの組み合わせにより、図6に示すように、少なくとも3台のカメラで観測可能な高品質な3次元構造が得られた。
• PCAベースのベースラインおよび既存の凸ソルバと比較して、LUDソルバは精度および外れ値方向に対するロバスト性の両面で優れている。