[論文レビュー] Unconstrained Two-parallel-plane Model for Focused Plenoptic Cameras Calibration

Chunping Zhang, Zhe Ji+1 more|arXiv (Cornell University)|Aug 16, 2016

Advanced Vision and Imaging参考文献 17被引用数 3

ひとこと要約

本稿では、焦点が合ったプレノプティックカメラのキャリブレーションのために、3次元シーン点と2次元画像センサ測定値の間の射影変換を確立することにより、7パラメータの自由な2平行平面（TPP）モデルを提案する。この手法は、閉形式解を用い、Levenberg-Marquardtを用いた非線形最適化により再投影誤差を最小化するもので、シミュレートデータおよび実データの両方でサブピクセル精度（RMS誤差 < 0.3ピクセル）を達成する。

ABSTRACT

The plenoptic camera can capture both angular and spatial information of the rays, enabling 3D reconstruction by single exposure. The geometry of the recovered scene structure is affected by the calibration of the plenoptic camera significantly. In this paper, we propose a novel unconstrained two-parallel-plane (TPP) model with 7 parameters to describe a 4D light field. By reconstructing scene points from ray-ray association, a 3D projective transformation is deduced to establish the relationship between the scene structure and the TPP parameters. Based on the transformation, we simplify the focused plenoptic camera as a TPP model and calibrate its intrinsic parameters. Our calibration method includes a close-form solution and a nonlinear optimization by minimizing re-projection error. Experiments on both simulated data and real scene data verify the performance of the calibration on the focused plenoptic camera.

研究の動機と目的

• 既存のプレノプティックカメラキャリブレーションモデルの限界、すなわち余分または不完全なパラメータと悪い初期化を解消する。
• 焦点が合ったプレノプティックカメラにおける4次元光場幾何を正確に記述する、簡潔で物理的に意味のあるモデルを構築する。
• 線形初期化と非線形最適化を組み合わせた、パrameterの精度を向上させるロバストなキャリブレーションパイプラインを確立する。
• 正確なメトリック4次元光場データのデコードにより、高精度な3次元再構築とデジタルフォーカスを可能にする。

提案手法

• 2つの平行平面が光路および光線幾何を定義する7パラメータの自由なTPPモデルを提案し、4次元光場を表現する。
• TPPパラメータを用いて、シーン点からセンサピクセルへの3次元射影変換行列を導出し、キャリブレーションの理論的基盤を構築する。
• 光線対応関係と3次元点再構築から導かれる線形関係を用いて、初期パラメータ推定の閉形式解を実装する。
• Levenberg-Marquardtアルゴリズムを用いた非線形最適化により、生画像面上の再投影誤差を最小化することでパラメータを精緻化する。
• ロバストなパラメータ推定のため、複数の姿勢を持つキャリブレーションボードを用いてデータ収集を行い、事前処理でマイクロレンズのサブアパーチャー画像を抽出する。
• レイトレーシングを用いて再焦点画像をレンダリングすることでキャリブレーションを検証し、本手法が後続の応用分野における有用性を示す。

実験結果

リサーチクエスチョン

• RQ1 焦点が合ったプレノプティックカメラ向けに、簡素化され、物理的に整合性のある4次元光場モデルをどのように構築すれば、キャリブレーション精度を向上させられるか？
• RQ2 シーン点と画像測定値の間の射影変換から、内部パラメータの閉形式解を導出できるか？
• RQ3 提案手法は、既存のキャリブレーション技術と比較して、再投影誤差をどの程度低減できるか？
• RQ4 キャリブレーションの姿勢数とキャリブレーション点数が、キャリブレーションのロバスト性と精度に与える影響はどの程度か？
• RQ5 キャリブレーションされたモデルは、実世界のシナリオにおいて高品質なデジタルフォーカスと3次元再構築をサポートできるか？

主な発見

• 提案された7パラメータの自由なTPPモデルは、焦点が合ったプレノプティックカメラにおける3次元シーン点と2次元画像センサ測定値の幾何的関係を効果的に捉えている。
• 少なくとも5つのキャリブレーション姿勢を用いる場合、再投影誤差が0.3ピクセル未満（RMS）に抑えられ、異なる点配置でも一貫した性能を示す。
• 歪み係数を最適化に組み込むことで、RMS誤差が0.31505ピクセルから0.27846ピクセルに低下し、非線形精緻化の有効性が裏付けられる。
• 9つの姿勢と8×10のキャリブレーション点を用いることで、RMS誤差は0.27846ピクセルに達し、高い精度とロバスト性が確認される。
• 推定された姿勢と光線方向により、再焦点画像のレンダリングが正確に行えることが確認され、さまざまな視点で一貫性があり、明確なフォーカスが得られている。
• 本手法は、マイクロレンズ中心の一致を仮定しない点で、先行手法を上回り、より正確で物理的に根拠のあるキャリブレーションフレームワークを提供する。