[論文レビュー] Stereo camera system calibration: the need of two sets of parameters

Riccardo Beschi, Xiao Feng+3 more|arXiv (Cornell University)|Jan 14, 2021

Advanced Vision and Imaging参考文献 18被引用数 4

ひとこと要約

本稿では、ステレオカメラシステムを2度にわたりキャリブレーションする手法を提案している。1度目は2次元再投影誤差を最小化するため、2度目は3次元再構成誤差を最小化するためである。画像ノイズの存在により、1つのパラメータセットが2つの目的を同時に最適化することは不可能であることが示されている。主な発見は、対応マッチングと3次元再構成のそれぞれにおいて、別々のパラメータセットを用いることで、より優れた性能が得られることであり、ステレオビジョンキャリブレーションにおける根本的なトレードオフを解消している。

ABSTRACT

The reconstruction of a scene via a stereo-camera system is a two-steps process, where at first images from different cameras are matched to identify the set of point-to-point correspondences that then will actually be reconstructed in the three dimensional real world. The performance of the system strongly relies of the calibration procedure, which has to be carefully designed to guarantee optimal results. We implemented three different calibration methods and we compared their performance over 19 datasets. We present the experimental evidence that, due to the image noise, a single set of parameters is not sufficient to achieve high accuracy in the identification of the correspondences and in the 3D reconstruction at the same time. We propose to calibrate the system twice to estimate two different sets of parameters: the one obtained by minimizing the reprojection error that will be used when dealing with quantities defined in the 2D space of the cameras, and the one obtained by minimizing the reconstruction error that will be used when dealing with quantities defined in the real 3D world.

研究の動機と目的

• 1つのキャリブレーションセットが、ステレオビジョンシステムにおける2次元対応マッチングと3次元再構成の両方を最適にサポートできるかどうかを調査すること。
• 現実世界の画像ノイズ下で、1つのパラメータセットを2つの目的に同時に使用する従来のキャリブレーション手法の限界を特定すること。
• ステレオキャリブレーションにおける再投影誤差（2次元）と再構成誤差（3次元）の最小化の間の性能トレードオフを評価すること。
• 2次元と3次元の精度を別々に最適化する目的関数を分離することで、全体的なシステム精度を向上させる双対キャリブレーション手法を提案・検証すること。

提案手法

• 3つのキャリブレーション手法を実装する：本質的行列推定、2次元最小化（再投影誤差の最小化）、3次元最小化（再構成誤差の最小化）。
• 2次元および3次元最小化の両方の初期化に、モンテカルロ最適化戦略を用いた本質的行列法を採用する。
• システムを2度キャリブレーションする：1回目は対応関係特定のための2次元再投影誤差を最小化するため、2回目は3次元出力のための3次元再構成誤差を最小化するため。
• 19のデータセットを用いて、すべての手法の対応マッチングと3次元再構成精度の性能を比較評価する。
• 2次元最小化パラメータを2次元タスク（例：対応マッチング）に、3次元最小化パラメータを3次元再構成タスクに適用する。
• ピンホールカメラモデルと射影幾何学を用いて、3次元世界座標点とその2次元画像投影点の関係を定式化する。

実験結果

リサーチクエスチョン

• RQ1 現実世界の画像ノイズ下で、1つのキャリブレーションパラメータセットが2次元対応マッチングと3次元再構成の両方において高い精度を達成できるか？
• RQ2 ステレオカメラキャリブレーションにおいて、2次元再投影誤差の最小化と3次元再構成誤差の最小化の間には、どのような性能トレードオフが存在するか？
• RQ3 2次元精度と3次元精度を別々に最適化する2段階のキャリブレーションプロセスを分離することで、全体的なシステム性能が向上するか？
• RQ4 さまざまなデータセットにおいて、再投影誤差と再構成誤差の観点から、異なるキャリブレーション戦略はどのように比較されるか？

主な発見

• 2次元最小化手法は、再投影誤差が低いという指標で、正しい点対応関係の特定において最良の性能を示した。
• 3次元最小化手法は、19のすべてのデータセットで一貫して0.01未満の再構成誤差を達成し、最も正確な3次元再構成を生成した。
• 1つのパラメータセットを用いることで、対応マッチングと3次元再構成の両方において、劣化した性能が生じた。これは、ノイズの仮定が矛盾するためである。
• 2次元最小化手法は、すべてのノイズが3次元空間にあると仮定している一方、3次元最小化手法は、すべてのノイズが2次元画像空間にあると仮定しているため、本質的なトレードオフが生じる。
• 2次元と3次元タスクに別々のパラメータを用いる双対キャリブレーションアプローチは、いかなる1パラメータセットを用いる手法よりも優れた結果を達成した。
• 本研究では、再投影誤差の最小化と再構成誤差の最小化が、互いに矛盾する目的であることが確認され、2つの別々のキャリブレーション手順が不可欠であることが示された。