[论文解读] Mobile Camera Array Calibration for Light Field Acquisition

Yichao Xu, Kazuki Maeno+2 more|arXiv (Cornell University)|Jul 16, 2014

Advanced Vision and Imaging参考文献 1被引用 7

一句话总结

本文提出一种基于全局优化的灵活校准方法，用于移动相机阵列光场系统，采用张氏标定法的平面棋盘格。该方法可实现精确的内参与外参估计，达到亚0.4像素的重投影误差，并支持校准后光场的高质量数字重对焦。

ABSTRACT

The light field camera is useful for computer graphics and vision applications. Calibration is an essential step for these applications. After calibration, we can rectify the captured image by using the calibrated camera parameters. However, the large camera array calibration method, which assumes that all cameras are on the same plane, ignores the orientation and intrinsic parameters. The multi-camera calibration technique usually assumes that the working volume and viewpoints are fixed. In this paper, we describe a calibration algorithm suitable for a mobile camera array based light field acquisition system. The algorithm performs in Zhang's style by moving a checkerboard, and computes the initial parameters in closed form. Global optimization is then applied to refine all the parameters simultaneously. Our implementation is rather flexible in that users can assign the number of viewpoints and refinement of intrinsic parameters is optional. Experiments on both simulated data and real data acquired by a commercial product show that our method yields good results. Digital refocusing application shows the calibrated light field can well focus to the target object we desired.

研究动机与目标

• 解决移动相机阵列光场系统缺乏精确校准方法的问题，此类系统与固定的大规模相机阵列不同。
• 实现在相机未被约束于单一平面的移动设置中，对内参与外参的精确校准。
• 开发一种灵活的校准框架，允许用户选择视点数量，并可选地优化内参。
• 通过使用全局优化同时优化所有参数，改进现有校准方法，降低重投影误差。

提出的方法

• 定义光场的位置-角度表示法，并基于此表示法建立移动相机阵列模型。
• 通过在多个姿态下移动平面棋盘格图案来采集校准数据，遵循张氏单目相机校准方法。
• 利用平面图案观测结果，以闭式解法计算初始相机参数。
• 应用全局优化，同时优化所有内参与外参，以最小化总重投影误差。
• 支持用户自定义配置，包括视点数量以及是否优化内参。
• 使用图像畸变校正与平均技术，对校准后的光场执行数字重对焦。

实验结果

研究问题

• RQ1 能否开发一种校准方法，准确估计非平面配置下移动相机阵列的内参与外参？
• RQ2 与独立优化或初始线性解法相比，全局优化所有参数在重投影误差方面表现如何？
• RQ3 校准后的光场是否能实现对目标物体的精确数字重对焦，即使未经校准的光场会失败？
• RQ4 所提方法在所有视点中，尤其是主轴位移较大的视点中，能否保持较低的重投影误差？

主要发现

• 经全局优化后，总重投影误差低于0.4像素，显著优于初始参数（2.0672）与独立优化（0.6898）。
• 每个视点的重投影误差在全局优化后均控制在1像素以内，确保无穷远无视差。
• 第7个视点因主轴方向位移较大，表现出相对较高的误差，表明对深度变化较为敏感。
• 使用校准光场进行数字重对焦可成功聚焦于目标物体（棋盘格），而未经校准的光场则产生模糊结果。
• 利用校正后的光场，成功生成了近、中、远距离物体的重对焦图像，证明了其实际应用价值。
• 该方法已成功应用于商用光场相机产品，验证了其在真实场景中的适用性与鲁棒性。