[論文レビュー] Rolling Shutter Camera Relative Pose: Generalized Epipolar Geometry

Yuchao Dai, Hongdong Li+1 more|arXiv (Cornell University)|May 2, 2016

Advanced Vision and Imaging参考文献 26被引用数 13

ひとこと要約

本稿では、線形および均一なローリングシャッター・モデルそれぞれに対応する一般化された 5×5 および 7×7 の本質的行列を導出することにより、ローリングシャッター・カメラの相対姿勢推定のための統一的な幾何的枠組みを提案する。高次元のエピポーラ曲線を有する新しいエピポーラ幾何を確立し、サンプソン誤差最小化を用いた線形および非線形ソルバーを開発した。合成および実際の RS データセットにおいて、グローバルシャッター仮定よりも顕著な精度向上を示した。

ABSTRACT

The vast majority of modern consumer-grade cameras employ a rolling shutter mechanism. In dynamic geometric computer vision applications such as visual SLAM, the so-called rolling shutter effect therefore needs to be properly taken into account. A dedicated relative pose solver appears to be the first problem to solve, as it is of eminent importance to bootstrap any derivation of multi-view geometry. However, despite its significance, it has received inadequate attention to date. This paper presents a detailed investigation of the geometry of the rolling shutter relative pose problem. We introduce the rolling shutter essential matrix, and establish its link to existing models such as the push-broom cameras, summarized in a clean hierarchy of multi-perspective cameras. The generalization of well-established concepts from epipolar geometry is completed by a definition of the Sampson distance in the rolling shutter case. The work is concluded with a careful investigation of the introduced epipolar geometry for rolling shutter cameras on several dedicated benchmarks.

研究の動機と目的

• 動的幾何コンピュータビジョン分野において、ローリングシャッター・カメラの専用相対姿勢ソルバーが不足している問題に対処すること。
• 時間的に変化するスキャンラインの撮影に起因し、標準的なピンホールモデルとは異なるローリングシャッター・カメラのエピポーラ幾何を形式化すること。
• ローリングシャッター撮影の非中心投影特性を捉えるために、一般化された本質的行列（5×5 および 7×7）を導出すること。
• ローリングシャッター幾何に基づく相対姿勢推定のための効率的な線形および非線形ソルバーを開発すること。
• 合成および実世界のローリングシャッター・データセット上でフレームワークを検証し、グローバルシャッター仮定を上回ることを実証すること。

提案手法

• 時間依存のスキャンライン投影モデルに基づき、線形ローリングシャッター・カメラ向けに 5×5 の一般化された本質的行列、均一ローリングシャッター・カメラ向けに 7×7 の行列を導出する。
• エピポーラ線が標準エピポーラ幾何における直線とは異なり、高次元の曲線（例：二次曲線や三次曲線）となる一般化されたエピポーラ幾何を導入する。
• 非線形最適化のための幾何的誤差測度として、ローリングシャッター固有のサンプソン距離を確立する。
• 線形 RS カメラ向けに 20 点線形アルゴリズム、均一 RS カメラ向けに 44 点線形アルゴリズムを構築し、最小限の入力で効率的な初期姿勢推定を可能にする。
• 最小点数で動作する非線形ソルバーを提案し、RANSAC を用いたロバスト推定に適したサンプソン誤差最小化を実現する。
• 線形および均一なプッシュブロムカメラをフレームワークに統合し、一般化された本質的行列の統一的階層を構築する。

実験結果

リサーチクエスチョン

• RQ1 標準的な 3×3 本質的行列を超えて、ローリングシャッター・カメラのエピポーラ幾何をどのように形式化できるか？
• RQ2 線形および均一ローリングシャッター・モデルに適した適切な一般化された本質的行列は何か？ また、それらは既存のマルチピアースペクティブ・カメラ・モデルとどのように関係するか？
• RQ3 ローリングシャッター幾何に基づく効率的な線形および非線形ソルバーを構築できるか？
• RQ4 本稿で提案するローリングシャッター・モデルは、実データおよび合成データにおいて、グローバルシャッター仮定と比較して再投影誤差および姿勢精度の点でどのように優れているか？
• RQ5 一般化されたサンプソン距離は、ローリングシャッター相対姿勢のロバスト最適化をどのように可能にするか？

主な発見

• 提案された 5×5 および 7×7 の一般化された本質的行列は、コンピュータビジョンの文献において以前に報告されていないオリジナルな貢献である。
• ローリングシャッターのエピポーラ幾何は、線形 RS では二次曲線（2 次曲線）、均一 RS では三次曲線（3 次曲線）となるエピポーラ曲線を生じるが、これは標準エピポーラ幾何における直線とは異なる。
• 線形 RS カメラ向けの 20 点線形アルゴリズムと、均一 RS カメラ向けの 44 点線形アルゴリズムにより、最小限の入力で効率的な初期姿勢推定が可能である。
• サンプソン誤差最小化に基づく非線形ソルバーは、合成および実際の RS データセットにおいて、グローバルシャッター・モデルと比較して回転推定精度を顕著に向上させた。
• RSBA データセットの実際の RS 画像ペアにおいて、ローリングシャッター・モデルは画像全体にわたり一様に再投影誤差を低減するが、グローバルシャッター・モデルは動的領域の歪みを適切に補正できない。
• サンプソン誤差のヒストグラムは、提案された RS モデルを用いることで一般に誤差が低減していることを示しており、幾何的整合性の優位性を裏付けた。