[論文レビュー] Mobile Camera Array Calibration for Light Field Acquisition

Yichao Xu, Kazuki Maeno+2 more|arXiv (Cornell University)|Jul 16, 2014

Advanced Vision and Imaging参考文献 1被引用数 7

ひとこと要約

本稿では、張氏のスタイルの平面チェッカーボードを用いた、モバイルカメラアレイ光場システムのための柔軟でグローバル最適化に基づくキャリブレーション手法を提案する。本手法により、正確な内部パrameterおよび外部パラメータの推定が可能となり、再投影誤差が0.4ピクセル未塔を達成し、キャリブレーション済み光場における高品質なデジタルフォーカスが実現される。

ABSTRACT

The light field camera is useful for computer graphics and vision applications. Calibration is an essential step for these applications. After calibration, we can rectify the captured image by using the calibrated camera parameters. However, the large camera array calibration method, which assumes that all cameras are on the same plane, ignores the orientation and intrinsic parameters. The multi-camera calibration technique usually assumes that the working volume and viewpoints are fixed. In this paper, we describe a calibration algorithm suitable for a mobile camera array based light field acquisition system. The algorithm performs in Zhang's style by moving a checkerboard, and computes the initial parameters in closed form. Global optimization is then applied to refine all the parameters simultaneously. Our implementation is rather flexible in that users can assign the number of viewpoints and refinement of intrinsic parameters is optional. Experiments on both simulated data and real data acquired by a commercial product show that our method yields good results. Digital refocusing application shows the calibrated light field can well focus to the target object we desired.

研究の動機と目的

• 固定の大規模カメラアレイとは異なる、モバイルカメラアレイベースの光場システムにおける正確なキャリブレーション手法の不足に応えること。
• カメラが同一平面に制約されないモバイル設定において、内部パrameterおよび外部パラメータの正確なキャリブレーションを可能にすること。
• ユーザーが視点数を選択可能であり、内部パラメータのオプションによる精緻化も可能な、柔軟なキャリブレーションフレームワークの開発。
• すべてのパラメータを同時に精緻化するグローバル最適化を用いることで、従来の手法に比べて再投影誤差を低減する。

提案手法

• 光場の位置-角度表現を定義し、この表現に基づいてモバイルカメラアレイをモデル化する。
• 張氏の単一カメラキャリブレーションアプローチに従い、複数の向きに移動させた平面チェッカーボードパターンを用いてキャリブレーションデータを取得する。
• 平面パターンの観測に基づいて、閉形式で初期カメラパラメータを計算する。
• すべての内部パラメータおよび外部パラメータを同時に精緻化するため、グローバル最適化を適用し、総再投影誤差を最小化する。
• ユーザー定義の設定を許容し、視点数や内部パラメータの精緻化の有無を指定可能にする。
• ワープおよび平均化技術を用いて、キャリブレーション済み光場に対してデジタルフォーカスを実行する。

実験結果

リサーチクエスチョン

• RQ1 非平面配置のモバイルカメラアレイに対して、内部パラメータおよび外部パラメータを正確に推定できるキャリブレーション手法を開発できるか？
• RQ2 すべてのパラメータをグローバル最適化することで得られる再投影誤差は、独立した精緻化や初期線形解法と比較してどの程度優れているか？
• RQ3 キャリブレーション済み光場は、キャリブレーションされていない光場が失敗する状況でも、目的の物体に対して正確なデジタルフォーカスを可能にするか？
• RQ4 特に主軸の平行移動が大きい視点において、提案手法が再投影誤差をどの程度低く維持できるか？

主な発見

• グローバル最適化後、総再投影誤差が0.4ピクセル未塔に達し、初期パラメータ（2.0672）や独立した精緻化（0.6898）を著しく上回る。
• グローバル最適化後、各個々の視点の再投影誤差は1ピクセル以内に保たれ、無限遠における不一致が生じない。
• 主軸に沿った平行移動が大きい第7視点では相対的に高い誤差が観測され、深度の変動に敏感であることが示された。
• キャリブレーション済み光場を用いたデジタルフォーカスは、ターゲットオブジェクト（チェッカーボード）を正確にフォーカスした一方、未キャリブレーション光場ではぼやけた結果が得られた。
• 補正済み光場を用いて、近距離、中距離、遠距離のオブジェクトに対して、実際のシーンの再焦点画像が正常に生成された。
• 本手法は商業用光場カメラ製品に対しても正常に適用され、実用性およびロバストネスの妥当性が検証された。