[論文レビュー] Geometric Wide-Angle Camera Calibration: A Review and Comparative Study

Jianzhu Huai, Yuan Zhuang+5 more|arXiv (Cornell University)|Jun 15, 2023

Satellite Image Processing and Photogrammetry被引用数 4

ひとこと要約

本稿は、シミュレート済みおよび実データを用いて、広角レンズおよびフィッシュアイレンズを対象に、6つの主要な幾何的カメラキャリブレーションツール（BabelCalib、Basalt、Camodocal、Kalibr、MATLABキャリブレータ、OpenCVベースのROSキャリブレータ）をレビューおよび評価する。大角度カメラに対しては、優れた安定性と正確性を示すため、KB-8モデルが最も信頼性が高いと判明した。一方、Meiモデルではパラメータの重複が顕著であり、最適化ベースのキャリブレーションにおけるツール固有の失敗率も指摘された。

ABSTRACT

Wide-angle cameras are widely used in photogrammetry and autonomous systems which rely on the accurate metric measurements derived from images. To find the geometric relationship between incoming rays and image pixels, geometric camera calibration (GCC) has been actively developed. Aiming to provide practical calibration guidelines, this work surveys the existing GCC tools and evaluates the representative ones for wide-angle cameras. The survey covers camera models, calibration targets, and algorithms used in these tools, highlighting their properties and the trends in GCC development. The evaluation compares six target-based GCC tools, namely, BabelCalib, Basalt, Camodocal, Kalibr, the MATLAB calibrator, and the OpenCV-based ROS calibrator, with simulated and real data for wide-angle cameras described by four parametric projection models. These tests reveal the strengths and weaknesses of these camera models, as well as the repeatability of these GCC tools. In view of the survey and evaluation, future research directions of wide-angle GCC are also discussed.

研究の動機と目的

• 多様なツールとカメラモデルの増加に伴い、実務者が適切なカメラキャリブレーションツールを選定する際の課題に対処すること。
• 広角およびフィッシュアイレンズを搭載するカメラに対して、6つの広く使われているキャリブレーションツールの一貫性、再現性、正確性を評価すること。
• ピンホールラジアルタンジェンシャル、KB-8、Meiの3つの伝統的カメラモデルが、シミュレート済みおよび実世界の条件下でどのように性能を発揮するかを評価すること。
• 現在のキャリブレーションツールにおける主な制限要因、特に外れ値処理、パラメータ初期化、最適化のロバスト性に関する課題を特定すること。
• 今後の研究を支援するため、インタラクティブキャリブレーション、アクティブターゲットを用いた静的キャリブレーション、キャリブレーション対応の再構築パイプラインといった方向性を提案すること。

提案手法

• 本研究では、4つの広角およびフィッシュアイレンズから得た合成および実データを用い、6つのキャリブレーションツール（BabelCalib、Basalt、Camodocal、Kalibr、MATLABキャリブレータ、OpenCVベースのROSキャリブレータ）を評価した。
• シミュレートデータは、既知の真値パラメータを有する3つの標準カメラモデル（ピンホールラジアルタンジェンシャル、KB-8、Mei）を用いて生成され、正確性と安定性の評価に使用された。
• 実データは、4つのレンズ（BM4218、BM4018、BT2120、MTV185）を用い、それぞれ9つのシーケンスで収集された。平面キャリブレーションターゲットと制御された撮影条件を採用した。
• 再投影誤差（RMS）とシーケンス間でのパラメータ一貫性（平均、標準偏差）を主な指標として、ツールの性能を評価した。
• 外れ値の検出と処理は、曇りや低コントラスト画像におけるコーナー検出誤差を分析することで評価された。
• 評価は、特にパラメータの重複が顕著なMeiモデルのようなモデルにおいて、パラメータの安定性、収束率、失敗事例に焦点を当てた。

Figure 1: The geometric camera calibration and the evaluated tools.

実験結果

リサーチクエスチョン

• RQ1 広角およびフィッシュアイレンズに対して、ピンホールラジアルタンジェンシャル、KB-8、Meiのどの幾何的カメラモデルが、最も安定的かつ正確なキャリブレーション結果をもたらすか？
• RQ2 BabelCalib、Basalt、Camodocal、Kalibr、MATLAB、ROS/OpenCVの6つの主要なキャリブレーションツールは、実データおよびシミュレート済みデータにおいて、再投影誤差とパラメータ一貫性の観点でどのように比較されるか？
• RQ3 最適化ベースのキャリブレーションツールで失敗が生じる原因は何か？また、外れ値検出と初期化は、キャリブレーションのロバスト性にどのように影響するか？
• RQ4 Meiモデルのようなモデルにおけるパラメータの重複および一意でない性質は、キャリブレーションの信頼性と再現性にどのように影響するか？
• RQ5 現在のキャリブレーションパイプラインにおける主な制限要因は何か？今後の研究の方向性として、キャリブレーションのロバスト性と使いやすさを向上させるにはどのようなアプローチが有効か？

主な発見

• KB-8モデルは、視野角（DAOV）が100°を超えるカメラに対して優れた安定性と正確性を示し、広角およびフィッシュアイレンズの選択肢として最適であることが判明した。
• Meiモデルは、低RMS再投影誤差を示す一方で、高いパラメータ分散を示しており、特に実データにおいてパラメータの重複に起因する不安定性が顕著であった。
• Camodocal、Kalibr、およびMATLABキャリブレータはピンホールラジアルタンジェンシャルモデルで優れた性能を発揮したが、BabelCalibおよびCamodocalはKB-8モデルでも良好な結果を示した。
• Basaltは特定のレンズ（BM4218、MTV185）において9シーケンス中7〜8シーケンスで失敗しており、最適化におけるロバスト性が著しく低いことが判明した。これは、初期化または収束の問題が原因である可能性が高い。
• 外れ値の検出は極めて重要であった。真の位置から数ピクセル程度ずれたコーナーがキャリブレーションに顕著な影響を与えることが判明したが、大多数のツールはこれを効果的に処理していた。
• EUCMモデルは一貫したパラメータ推定値（例：α、β）を提供したが、Meiモデルのk1パラメータは高い変動を示し、その不安定性が顕著に表れた。

Figure 2: The structure of this survey.