[論文レビュー] Multiple View Reconstruction of Calibrated Images using Singular Value Decomposition

Ayan Chaudhury, Abhishek Kumar Gupta+3 more|arXiv (Cornell University)|Nov 2, 2010

Optical measurement and interference techniques参考文献 6被引用数 3

ひとこと要約

この論文では、特異値分解（SVD）を用いて、異なるカメラの位置や姿勢における画像座標を統一することで、キャリブレーション済みマルチカメラシステムにおける複数視点再構成のための新しい手法を提示する。各カメラをその局所座標系でキャリブレーションし、すべてのデータを共通のグローバル座標系に変換することで、固定された3Dワールドポイントがカメラの視点に関係なく同じ画像座標に投影されることを保証し、一貫した再構成を実現する。主な結果として、1つのキャリブレーションポイントに対して、すべてのカメラで同一の (158, 88) ピクセル座標が得られた。

ABSTRACT

Calibration in a multi camera network has widely been studied for over several years starting from the earlier days of photogrammetry. Many authors have presented several calibration algorithms with their relative advantages and disadvantages. In a stereovision system, multiple view reconstruction is a challenging task. However, the total computational procedure in detail has not been presented before. Here in this work, we are dealing with the problem that, when a world coordinate point is fixed in space, image coordinates of that 3D point vary for different camera positions and orientations. In computer vision aspect, this situation is undesirable. That is, the system has to be designed in such a way that image coordinate of the world coordinate point will be fixed irrespective of the position & orientation of the cameras. We have done it in an elegant fashion. Firstly, camera parameters are calculated in its local coordinate system. Then, we use global coordinate data to transfer all local coordinate data of stereo cameras into same global coordinate system, so that we can register everything into this global coordinate system. After all the transformations, when the image coordinate of the world coordinate point is calculated, it gives same coordinate value for all camera positions & orientations. That is, the whole system is calibrated.

研究の動機と目的

• マルチカメラシステムにおける、固定された3Dワールドポイントが複数のカメラ視点で一貫しない画像座標の問題に取り組む。
• 複数のカメラビューを1つのグローバル座標系に統合し、正確な複数視点再構成を実現する。
• SVDに基づく変換が、カメラの位置や姿勢に関係なく一貫した画像座標を実現できることを示す。
• 複数のカメラ位置で1つのキャリブレーションポイントを用いて手法を検証し、同一の画像座標を達成する。

提案手法

• 19点からなるキャリブレーションパターンの3D-2D点対応を用いて、各カメラをその局所座標系でキャリブレーションする。
• 標準的なキャリブレーションモデルを用いて回転および平行移動パラメータを抽出するが、単純化のためレンズ歪みは無視する。
• 局所座標系からグローバル座標系への座標変換のための連立一次方程式をSVDで解く。
• モルフォロジカル画像処理を適用して、各画像内の特徴点を検出し、正確なピクセル座標抽出を可能にする。
• すべての局所カメラデータを共通のグローバル座標系に変換し、画像投影を統一する。
• 同じワールドポイントの画像座標をすべてのカメラで計算し、同一の結果が得られることを確認することで、一貫性を検証する。

実験結果

リサーチクエスチョン

• RQ1 マルチカメラシステムは、カメラの位置や姿勢が変化しても、固定された3Dワールドポイントに対して一貫した画像座標を達成できるか？
• RQ2 SVDを効果的に用いて、複数のカメラビューを1つのグローバル座標系に統合できるか？
• RQ3 座標系変換がステレオ再構成における画像座標の一貫性に与える影響は何か？
• RQ4 無視できるほど小さいレンズ歪みを仮定した簡素化されたキャリブレーションモデルでも、画像投影の一貫性が高い水準で達成できるか？

主な発見

• グローバル座標系に変換した後、固定された3Dワールドポイントの画像座標は、すべてのカメラビューで一貫して (158, 88) となった。
• SVDの使用により、変換系の正確かつ安定した解が得られ、複数のカメラビュー間での整合性が保証された。
• モルフォロジカル画像処理により、キャリブレーションポイントの正確な抽出と局所化が成功し、正確なピクセル座標計算が可能になった。
• 複雑な非線形最適化や高度な歪みモデルを必要とせず、一貫した再構成が達成された。
• 1000×1100の画像に対して、センサアレイの中央点として画像中心が (500, 550) と推定され、精度を損なわずにキャリブレーションを簡素化した。