[论文解读] A Comprehensive Overview of Fish-Eye Camera Distortion Correction Methods

Jian Xu, De-Wei Han+3 more|arXiv (Cornell University)|Dec 31, 2023

Optical measurement and interference techniques被引用 5

一句话总结

本文全面综述了鱼眼相机畸变校正方法，涵盖多项式模型、全景与网格映射、直接方法以及深度学习方法。文章评估了各类方法的原理、优势、局限性及最新进展，为研究人员根据特定应用需求选择最优校正技术提供了决策参考。

ABSTRACT

The fisheye camera, with its unique wide field of view and other characteristics, has found extensive applications in various fields. However, the fisheye camera suffers from significant distortion compared to pinhole cameras, resulting in distorted images of captured objects. Fish-eye camera distortion is a common issue in digital image processing, requiring effective correction techniques to enhance image quality. This review provides a comprehensive overview of various methods used for fish-eye camera distortion correction. The article explores the polynomial distortion model, which utilizes polynomial functions to model and correct radial distortions. Additionally, alternative approaches such as panorama mapping, grid mapping, direct methods, and deep learning-based methods are discussed. The review highlights the advantages, limitations, and recent advancements of each method, enabling readers to make informed decisions based on their specific needs.

研究动机与目标

• 为研究人员和从业者提供现有鱼眼相机畸变校正技术的系统性概述。
• 分析多项式、全景映射、网格映射、直接方法及基于深度学习的方法的优势与局限性。
• 根据特定应用需求（如精度、速度和计算资源）指导研究人员选择最合适的校正方法。
• 突出展示基于深度学习的端到端可训练畸变校正框架的最新进展。
• 通过在关键性能维度上对各类方法进行对比评估，支持明智的决策制定。

提出的方法

• 本文回顾了多项式畸变模型，该模型使用径向畸变函数来校正鱼眼图像中的非线性畸变。
• 分析了全景映射与网格映射技术，这些技术通过球面或基于网格的变换重新投影畸变图像。
• 研究了直接方法在无需显式建模的情况下，通过优化求解校正参数的能力。
• 评估了基于深度学习的方法（包括生成对抗网络和编码器-解码器网络，如U-Net变体）在学习端到端畸变校正方面的潜力。
• 分析了条件生成对抗网络（如DR-GAN）和畸变引导网络（DG-Net）在自动径向畸变校正中的应用。
• 列出了四种投影模型（等距投影、等角投影、正交投影和球面投影）的关键方程，以阐明鱼眼成像的几何基础。

实验结果

研究问题

• RQ1 不同鱼眼相机投影模型背后的数学与几何原理是什么？
• RQ2 与其它校正技术相比，多项式畸变模型在精度和计算效率方面如何？
• RQ3 全景映射与网格映射在校正鱼眼畸变方面具有哪些优势与局限性？
• RQ4 深度学习模型（尤其是生成对抗网络与U-Net架构）在提升畸变校正性能与鲁棒性方面能达到何种程度？
• RQ5 近期的端到端可训练框架（如DR-GAN与DG-Net）相较于传统或不可微分的方法有何优势？

主要发现

• 由于其简单性和在建模径向畸变方面的有效性，多项式畸变模型仍被广泛使用。
• 全景映射与网格映射方法在处理全360°鱼眼图像时表现优异，但在非均匀区域可能引入伪影。
• 直接方法可提供高精度校正，但通常计算成本较高，且需要仔细的参数调优。
• 基于深度学习的方法，特别是生成对抗网络与编码器-解码器网络，在处理复杂、非均匀畸变方面表现出优越性能。
• DR-GAN框架被确认为首个用于径向畸变校正的端到端可训练生成对抗网络，实现了自动化与鲁棒的校正。
• 畸变引导网络（DG-Net）通过使用学习到的畸变图引导图像复原，在水下成像中展现出改进效果。