[论文解读] Monochrome and Color Polarization Demosaicking Using Edge-Aware Residual Interpolation

Miki Morimatsu, Yusuke Monno+2 more|arXiv (Cornell University)|Jul 28, 2020

Optical Polarization and Ellipsometry参考文献 26被引用 5

一句话总结

本文提出了一种边缘感知残差插值（EARI）方法，用于单色和彩色偏振去马赛克，通过新型边缘检测器生成更优的引导图像，显著提升了插值精度。该方法在新构建的12通道彩色偏振数据集上实现了最先进性能，在PSNR和角度误差指标上均优于现有方法。

ABSTRACT

A division-of-focal-plane or microgrid image polarimeter enables us to acquire a set of polarization images in one shot. Since the polarimeter consists of an image sensor equipped with a monochrome or color polarization filter array (MPFA or CPFA), the demosaicking process to interpolate missing pixel values plays a crucial role in obtaining high-quality polarization images. In this paper, we propose a novel MPFA demosaicking method based on edge-aware residual interpolation (EARI) and also extend it to CPFA demosaicking. The key of EARI is a new edge detector for generating an effective guide image used to interpolate the missing pixel values. We also present a newly constructed full color-polarization image dataset captured using a 3-CCD camera and a rotating polarizer. Using the dataset, we experimentally demonstrate that our EARI-based method outperforms existing methods in MPFA and CPFA demosaicking.

研究动机与目标

• 为解决通过单次采集方法从稀疏、滤波后的传感器数据中高质量重建偏振图像的挑战。
• 通过在残差插值中引入边缘感知引导，提升单色和彩色偏振滤波阵列（MPFA/CPFA）的去马赛克性能。
• 克服现有基于插值方法的局限性，这些方法无法有效保持边缘，且常引入如“Zebra”效应或色彩渗色等伪影。
• 提供一个公开可用的高质量12通道彩色偏振图像数据集，用于去马赛克算法的基准测试。
• 证明边缘感知引导图像生成可显著提升插值保真度，且无需依赖深度学习或大规模数据。

提出的方法

• 该方法采用边缘感知残差插值（EARI），通过估计四个方向（N、S、E、W）的强度和偏振边缘，并利用方向加权融合生成引导图像。
• 一种新型边缘检测器基于斯托克斯参数S₀、S₁和S₂计算方向性边缘响应，实现对引导图像构建中边缘的精确定位。
• 引导图像通过加权平均方向性强度估计生成，权重为边缘置信度，以在保持锐利过渡的同时平滑均匀区域。
• 对于MPFA去马赛克，利用边缘感知引导图像应用残差插值，以重建四个方向（0°、45°、90°、135°）的缺失偏振值。
• 对于CPFA，该方法将最小化拉普拉斯色度去马赛克与所提出的基于EARI的偏振去马赛克相结合，分别处理每个颜色通道的偏振数据。
• 该方法避免使用深度学习，转而依赖高效、轻量级的插值算法，结合边缘感知引导，适用于嵌入式系统。

实验结果

研究问题

• RQ1 边缘感知引导图像生成是否能显著提升单色偏振滤波阵列（MPFA）去马赛克性能？
• RQ2 在MPFA去马赛克中，所提出的EARI方法与最先进基于插值的方法相比，在PSNR和角度误差指标上的表现如何？
• RQ3 EARI框架能否有效扩展至采样模式更稀疏、更复杂的彩色偏振滤波阵列（CPFA）？
• RQ4 使用自建的高质量12通道彩色偏振数据集在多大程度上提升了偏振去马赛克性能评估的可靠性？
• RQ5 边缘感知插值是否能有效减少偏振图像重建中的常见伪影，如Zebra效应和色彩渗色？

主要发现

• 所提出的EARI方法在I₀上达到47.39 dB的PSNR，I₄₅为44.91 dB，I₉₀为47.84 dB，I₁₃₅为44.63 dB，所有指标均优于最佳现有方法（PPID）。
• 对于S₀图像，EARI实现49.62 dB的PSNR和17.13°的角度误差，显著优于PPID的48.94 dB和17.65°。
• 与PPID相比，角度误差降低0.52°；与非边缘感知RI相比，降低0.31°，证明了边缘感知引导的优势。
• 在CPFA数据上，EARI在I₀上实现39.41 dB的CPSNR和22.18°的角度误差，优于PPID（39.37 dB，22.40°）和非边缘感知RI（39.35 dB，22.32°）。
• 视觉结果表明，EARI能有效抑制Zebra伪影和色彩边缘渗色，生成更锐利、更准确的AoP-DoP可视化图像。
• 新构建的12通道彩色偏振数据集包含40组场景，使用三CCD相机和旋转偏振片拍摄，可实现可靠的基准测试，并验证了该方法的优越性。