[论文解读] Deep Demosaicing for Polarimetric Filter Array Cameras

Mara Pistellato, Filippo Bergamasco+2 more|PubMed|Nov 24, 2022

Optical Polarization and Ellipsometry被引用 4

一句话总结

本文提出PFADN，一种基于CNN的新型去马赛克网络，用于偏振滤波阵列（PFA）相机，通过马赛克卷积保留2×2滤波器图案，并利用消费级LCD屏幕实现真实世界数据采集方法，以训练相机特定的非线性响应。该方法在偏振角估计中实现了0.46°的平均绝对误差，性能优于所有算法基线和基于学习的基线，达到当前最先进水平。

ABSTRACT

Polarisation Filter Array (PFA) cameras allow the analysis of light polarisation state in a simple and cost-effective manner. Such filter arrays work as the Bayer pattern for colour cameras, sharing similar advantages and drawbacks. Among the others, the raw image must be demosaiced considering the local variations of the PFA and the characteristics of the imaged scene. Non-linear effects, like the cross-talk among neighbouring pixels, are difficult to explicitly model and suggest the potential advantage of a data-driven learning approach. However, the PFA cannot be removed from the sensor, making it difficult to acquire the ground-truth polarization state for training. In this work we propose a novel CNN-based model which directly demosaics the raw camera image to a per-pixel Stokes vector. Our contribution is twofold. First, we propose a network architecture composed by a sequence of Mosaiced Convolutions operating coherently with the local arrangement of the different filters. Second, we introduce a new method, employing a consumer LCD screen, to effectively acquire real-world data for training. The process is designed to be invariant by monitor gamma and external lighting conditions. We extensively compared our method against algorithmic and learning-based demosaicing techniques, obtaining a consistently lower error especially in terms of polarisation angle.

研究动机与目标

• 为解决从原始PFA相机图像重建全分辨率斯托克斯矢量的挑战，同时考虑传感器特有的非线性响应（如串扰和噪声）。
• 开发一种数据驱动方法，通过使用消费级LCD屏幕的真实世界测量数据，绕过合成或代理训练数据的局限性。
• 设计一种CNN架构，通过一种新颖的马赛克卷积操作显式建模PFA传感器的局部2×2滤波器图案。
• 在去马赛克精度方面，特别是偏振角估计方面，超越现有算法和深度学习方法。
• 通过使用易于获取、低成本的数据采集方式，实现模型在相机特定场景下的微调，提升其在真实世界部署中的实用性。

提出的方法

• 引入一种新颖的马赛克卷积模块，根据PFA滤波器的局部2×2排列（0°、45°、90°、135°）应用不同的卷积核，以保留空间和偏振结构。
• PFADN网络端到端处理原始PFA图像，输出全分辨率的强度图和偏振角（AoLP）图。
• 通过校准方法补偿显示器伽马和视角非线性，利用消费级LCD显示器获取真实世界训练数据。
• 数据采集流程确保显示器像素的偏振状态准确映射到PFA传感器，实现在不移除滤波器阵列的情况下进行真实训练。
• 网络通过最小化强度的PSNR和偏振角的MAE进行训练，损失函数针对双输出回归任务进行定制。
• 通过利用LCD已知的偏振特性及受控的观察几何，使方法对显示器伽马和光照条件保持不变。

Figure 1: Our method demosaics a PFA camera image to produce a high-resolution intensity image (center) and angle of polarisation (right).

实验结果

研究问题

• RQ1 与传统算法方法相比，基于数据驱动的深度学习模型是否能在PFA相机上实现更优的去马赛克性能？
• RQ2 是否可以仅使用消费级LCD屏幕，在无需专用硬件或真实偏振传感器的情况下，有效获取真实世界训练数据？
• RQ3 通过马赛克卷积显式建模PFA的2×2滤波器图案的CNN架构，是否在去马赛克精度上优于标准卷积层？
• RQ4 在真实世界数据上训练的模型，能在多大程度上捕捉传感器特有的非线性响应（如串扰和噪声），从而提升偏振角估计精度？
• RQ5 所提出的方法是否能在不同场景和相机实例间实现良好泛化，同时在强度和偏振角重建中保持高精度？

主要发现

• PFADN在测试集上实现了0.46°的偏振角估计平均绝对误差（MAE），显著优于所有对比方法。
• 模型将强度图像的PSNR误差降低至32.31 dB，与当前最先进超分方法相当，同时实现显著更低的角误差。
• 与采用独立模型处理强度和角度的FSRCNN方法相比，PFADN通过单一统一架构实现了更高的角度精度。
• 在含噪输入条件下（高斯噪声σN最高达0.01），PFADN在PSNR和角度MAE方面均保持优越性能，表明其对退化具有鲁棒性。
• 定性结果表明，PFADN生成的强度图像更清晰锐利，偏振角图更干净、噪声更少，尤其在边缘区域和低DOLP区域表现更优。
• 该方法有效捕捉了相机特有的非线性响应，其在复杂场景下持续优于Bicubic和强度相关性等算法方法，证明了其有效性。

Figure 2: Overview of the proposed data aquisition procedure. An LCD screen is observed in several different poses. Three images are acquired for each pose: (i) a Charuco board $I_{C_{i}}$ , (ii) a random sample from the DIV2K dataset $I_{R_{i}}$ and (iii) a black image. The black image is subtracte