[論文レビュー] Calibration Wizard: A Guidance System for Camera Calibration Based on Modelling Geometric and Corner Uncertainty

Songyou Peng, Peter Sturm|arXiv (Cornell University)|Nov 8, 2018

Optical measurement and interference techniques参考文献 19被引用数 4

ひとこと要約

Calibration Wizard は、幾何的およびコーナー点の不確実性モデルを用いて、最適なカメラキャリブレーションのための次なる最良のカメラ姿勢を計算するインタラクティブなガイダンスシステムである。繰り返し繰り返し、内在パラメータ推定のための情報量の増加を最大化する姿勢を選択することで、20枚の自由に撮影された画像と同等のキャリブレーション精度を、たった5枚の画像で達成し、構造からモーション（SfM）パイプラインにおける3次元再構築品質を顕著に向上させる。

ABSTRACT

It is well known that the accuracy of a calibration depends strongly on the choice of camera poses from which images of a calibration object are acquired. We present a system -- Calibration Wizard -- that interactively guides a user towards taking optimal calibration images. For each new image to be taken, the system computes, from all previously acquired images, the pose that leads to the globally maximum reduction of expected uncertainty on intrinsic parameters and then guides the user towards that pose. We also show how to incorporate uncertainty in corner point position in a novel principled manner, for both, calibration and computation of the next best pose. Synthetic and real-world experiments are performed to demonstrate the effectiveness of Calibration Wizard.

研究の動機と目的

• 経験の浅いユーザーによる撮影姿勢の不適切さに起因する、劣化したカメラキャリブレーションの課題に対処すること。
• 既存のキャリブレーションデータに基づいて、動的に次なる最良のカメラ姿勢を計算し、ユーザーをガイドするインタラクティブシステムの開発。
• コーナー点検出における不確実性を、整合的かつ厳密な方法でキャリブレーションおよび姿勢選択に統合すること。
• 標準的な自由撮影法と比較して、少ないキャリブレーション画像数でキャリブレーション精度と3次元再構築品質を向上させること。
• 単眼カメラおよび平面ターゲットベースのキャリブレーションに一般化可能で、カメラモデルに依存しないソリューションを提供すること。

提案手法

• システムは、取得した画像から内在パラメータを推定するために、バンドル調整風の非線形最適化を実行する。
• 各新しい画像に対して、これまでに取得したすべての画像における内在パラメータの不確実性の期待的低減を最大化するように、次なる最良の姿勢を計算する。
• サブピクセル検出ノイズを考慮した確率的フレームワークを用いて、コーナー点の不確実性をモデル化する。
• 姿勢選択は、可能なカメラ姿勢の空間におけるグローバル最適化に基づいており、情報理論的最適性を保証する。
• システムはシンプルなGUIを用いて、ユーザーが計算された最適姿勢に視覚的にガイドされ、姿勢が収束した段階で画像撮影がトリガーされる。
• この手法は一般性があり、任意の単眼カメラモデルに適用可能であり、標準レンズおよび広角レンズでの検証が行われた。

実験結果

リサーチクエスチョン

• RQ1 既存のキャリブレーションデータに基づいて次なる最良のカメラ姿勢を計算するガイダンスシステムが、キャリブレーション精度を顕著に向上させられるか？
• RQ2 コーナー点の不確実性をどのようにモデル化し、キャリブレーションおよび姿勢選択プロセスに統合することで、耐障害性と精度を向上させられるか？
• RQ3 少数のガイダンス付きキャリブレーション画像で、多数の自由撮影画像と同等のキャリブレーション品質を達成できるか、その程度はどの程度か？
• RQ4 実世界の3次元再構築タスクにおいて、本手法は標準的な自由撮影キャリブレーションおよび既存の戦略に基づく姿勢提案手法を上回るか？
• RQ5 本システムは、魚眼レンズのような極端な視野角を持つカメラに対しても効果的に適用可能か？

主な発見

• 自由に撮影した3枚と、Calibration Wizard がガイドした2枚の合計5枚の画像でのみ、SfMにおける2次元再構築誤差が 14.4 ± 9.1 ピクセルに抑えられ、20枚の自由撮影画像（15.7 ± 10.5 ピクセル）と同等の精度を達成した。
• 自由画像3枚＋ウィザードが提案した4枚の構成では、中央値の2次元誤差が10.6ピクセルにまで低下し、自由撮影7枚（中央値31.7ピクセル）を上回った。
• 自由画像3枚＋ウィザードが提案した2枚の構成では、2次元誤差が17.4 ± 10.8ピクセルにまで低下し、わずか2枚のガイダンス付き画像で自由撮影に比べて顕著なキャリブレーション精度の向上が確認された。
• 3枚の画像に対して次なる最良の姿勢を計算するのに約0.4秒、15枚の画像に対しては約1.5秒を要し、標準的なハードウェアでも実時間性能を満たしていることが示された。
• GPUアクセcelerationがなくても高い精度を達成でき、すべての実世界テストが2.7 GHz Intel i5 CPU上で実行された。
• コーナー点の不確実性をモデル化することで、情報量が少ない状況でもより耐障害性の高いキャリブレーションとより良い姿勢選択が可能になることが確認された。