[論文レビュー] Geometric Models of Rolling-Shutter Cameras

Marci Meingast, S. Shankar Sastry+1 more|ArXiv.org|Mar 29, 2005

Advanced Vision and Imaging参考文献 10被引用数 140

ひとこと要約

本稿では、スキャンラインごとの露出時間の差を考慮した一般化された投影方程式を導出することで、ローリングシャッター・カメラの幾何的モデルを提案する。フロントパラレルな運動下ではローリングシャッター・カメラがXスリットカメラと同等に振る舞うことが示され、補正された投影モデルを用いることで、特に高域速度または低ノイズ条件下での構造から運動（SfM）の精度が向上することを実証している。

ABSTRACT

Cameras with rolling shutters are becoming more common as low-power, low-cost CMOS sensors are being used more frequently in cameras. The rolling shutter means that not all scanlines are exposed over the same time interval. The effects of a rolling shutter are noticeable when either the camera or objects in the scene are moving and can lead to systematic biases in projection estimation. We develop a general projection equation for a rolling shutter camera and show how it is affected by different types of camera motion. In the case of fronto-parallel motion, we show how that camera can be modeled as an X-slit camera. We also develop approximate projection equations for a non-zero angular velocity about the optical axis and approximate the projection equation for a constant velocity screw motion. We demonstrate how the rolling shutter effects the projective geometry of the camera and in turn the structure-from-motion.

研究の動機と目的

• 構造から運動パイプラインにおけるローリングシャッター・カメラの幾何的モデリングの不足に応える。
• カメラまたはシーンが運動している場合に生じるローリングシャッターによる体系的歪みをモデル化する。
• ローリングシャッター・カメラにおけるスキャンラインごとの時間的露出変動を考慮した投影方程式を開発する。
• ローリングシャッター効果を無視すると、動的シーンにおける運動および構造推定にバイアスが生じることを実証する。
• ビジョンベースのナビゲーションにおける精度を向上させるためのキャリブレーション手法と解析的フレームワークを提供する。

提案手法

• スキャンラインの時間的露出変動に基づく一般化されたローリングシャッター制約を導出する。
• 一定速度のフロントパラレル運動下におけるローリングシャッター・カメラの投影方程式を定式化し、Xスリットカメラモデルと同等であることを示す。
• 露出時間の差を考慮した時間依存補正項を含む、パースペクティブ投影モデルの補正を導入する。
• ローリングシャッター状態下でのオプティカルフロー方程式を再導出する。この際、角速度と並進運動を組み込む。
• 線形化と時間依存露出モデリングを用いて、運動推定誤差を分析する。
• さまざまな速度およびノイズレベル下で、ローリングシャッター対応モデルとピンホール投影モデルを比較したバンドル調整シミュレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 ローリングシャッターの露出タイミングは、運動中のカメラ画像の射影幾何にどのように影響するか？
• RQ2 特定の運動条件下では、ローリングシャッター・カメラをXスリットカメラや二スリットカメラといった非中心カメラとしてモデル化できるか？
• RQ3 ピンホールカメラモデルがローリングシャッター・カメラを用いた正確な構造から運動に不十分となる条件は何か？
• RQ4 ローリングシャッター効果は、動的シーンにおけるオプティカルフローおよび運動推定精度にどのように影響するか？
• RQ5 標準的なピンホールモデルと比較して、ローリングシャッター対応の投影モデルを用いることで、構造から運動のパフォーマンスはどの程度向上するか？

主な発見

• フロントパラレルな運動下では、ローリングシャッター・カメラはXスリットカメラとしてモデル化可能であり、時間依存補正項を含む正確な投影方程式が得られる。
• 光学軸周りの角速度がゼロの場合、ローリングシャッター・モデルは有界な補正項を持つパースペクティブ投影に簡略化され、ピンホールモデルが十分に機能する安全領域が存在する。
• シミュレーションでは、ローリングシャッター対応の投影モデルを用いることで、再投影誤差、回転誤差、並進方向誤差が低減することが示され、特に高域速度（例：7.5 km/h）および低ノイズ条件下で顕著である。
• 低速度および高ノイズ条件下では、ローリングシャッター効果がノイズに埋もれ、補正の恩恵が薄れるが、モデル自体は解析的に有効である。
• ローリングシャッター・カメラ用に導出されたオプティカルフロー方程式には、角速度および露出時間差に起因する追加項が含まれており、正確な運動推定に不可欠である。
• バンドル調整実験の結果、運動が顕著な場合には、標準ピンホールモデルに比べてローリングシャッター・モデルがより正確な回転および並進推定を実現することが確認された。