[论文解读] 3D Reconstruction from Full-view Fisheye Camera

Chuiwen Ma, Liang Shi+2 more|arXiv (Cornell University)|Jun 20, 2015

Advanced Vision and Imaging参考文献 3被引用 20

一句话总结

本文提出一种基于球面相机模型与对极几何的3D重建方法，适用于全景鱼眼相机，能够从多个Ricoh Theta图像实现稀疏与密集重建。该方法结合人工点对应、SIFT匹配与RANSAC滤波，并配备图形用户界面（GUI）用于交互式可视化，实现了精确的3D场景重建，有效保留真实世界结构。

ABSTRACT

In this report, we proposed a 3D reconstruction method for the full-view fisheye camera. The camera we used is Ricoh Theta, which captures spherical images and has a wide field of view (FOV). The conventional stereo apporach based on perspective camera model cannot be directly applied and instead we used a spherical camera model to depict the relation between 3D point and its corresponding observation in the image. We implemented a system that can reconstruct the 3D scene using captures from two or more cameras. A GUI is also created to allow users to control the view perspective and obtain a better intuition of how the scene is rebuilt. Experiments showed that our reconstruction results well preserved the structure of the scene in the real world.

研究动机与目标

• 实现对全景鱼眼相机的精确3D重建，此类相机因极端径向畸变而无法被标准透视相机模型处理。
• 提出一种球面相机模型，将3D点映射到单位球面，并投影到圆形像平面。
• 建立适用于鱼眼相机的修正对极几何与基础矩阵估计方法，以支持三角测量与相机位姿恢复。
• 实现基于点对应与视差映射的稀疏与密集3D重建流程。
• 开发图形用户界面（GUI），支持对多张鱼眼图像重建的360°全景场景进行交互式可视化。

提出的方法

• 提出一种球面相机模型，其中3D点先投影到单位球面，再沿垂直方向投影到像平面，采用固定焦距的径向投影模型。
• 基于球面模型推导鱼眼相机的对极几何，实现从点对应关系计算基础矩阵。
• 使用人工标记的真值点对估计基础矩阵，并用于过滤SIFT特征匹配，减少误匹配。
• 应用RANSAC算法进一步优化基础矩阵，并将高置信度SIFT匹配加入对应点池，以支持更密集的重建。
• 通过等距长方体到立方体的映射实现图像矫正，使对应点沿相同经线对齐，从而支持传统立体视差计算。
• 在矫正后的图像上使用基于相关性的方法生成视差图，并用于密集3D重建，尽管残余畸变仍对视差图造成噪声影响。

实验结果

研究问题

• RQ1 如何通过球面相机模型准确表示180°视场全景鱼眼图像中3D点的投影？
• RQ2 为实现鱼眼立体系统中稳健的基础矩阵估计与三角测量，对极几何需要做出哪些修改？
• RQ3 SIFT特征匹配能否有效用于鱼眼图像的3D重建？如何通过真值基础矩阵作为滤波器提升其性能？
• RQ4 尽管存在残余畸变，通过图像矫正与视差映射能在多大程度上实现密集3D重建？
• RQ5 如何设计用户友好的GUI，以支持用户对多张鱼眼图像重建的360°全景场景进行交互式探索？

主要发现

• 基于人工选择的对应点与真值基础矩阵的稀疏3D重建结果准确，与真实世界场景结构高度一致。
• 通过真值基础矩阵过滤后的SIFT匹配显著提升了重建密度，同时保持了良好的几何一致性。
• 图像矫正后，基于视差图的密集重建成功实现，但残余畸变导致视差图中引入噪声。
• GUI支持用户在多张360°图像间交互控制视角，增强了对重建3D场景的直观理解。
• 该方法在具有结构化特征（如墙壁与天花板）的室内场景中表现稳健，但在纹理重复或基线差异较大的室外场景中，SIFT匹配性能下降。
• 成功计算了最多六台相机的位姿（旋转与位置），实现了多视角重建并保持了良好的对齐一致性。