[论文解读] Fully Point-wise Convolutional Neural Network for Modeling Statistical Regularities in Natural Images

Jing Zhang, Yang Cao+3 more|arXiv (Cornell University)|Jan 19, 2018

Image Enhancement Techniques参考文献 45被引用 9

一句话总结

该论文提出了一种全逐点卷积神经网络（FPCNet），通过打乱输入像素以保留分布统计特性同时消除空间结构，来建模自然图像中的统计规律性。通过仅在打乱后的输入上使用1×1卷积，FPCNet将参数量和计算量减少了10×–100×，同时在色彩恒常性和图像去雾任务中达到或超越当前最先进性能。

ABSTRACT

Modeling statistical regularity plays an essential role in ill-posed image processing problems. Recently, deep learning based methods have been presented to implicitly learn statistical representation of pixel distributions in natural images and leverage it as a constraint to facilitate subsequent tasks, such as color constancy and image dehazing. However, the existing CNN architecture is prone to variability and diversity of pixel intensity within and between local regions, which may result in inaccurate statistical representation. To address this problem, this paper presents a novel fully point-wise CNN architecture for modeling statistical regularities in natural images. Specifically, we propose to randomly shuffle the pixels in the origin images and leverage the shuffled image as input to make CNN more concerned with the statistical properties. Moreover, since the pixels in the shuffled image are independent identically distributed, we can replace all the large convolution kernels in CNN with point-wise ($1*1$) convolution kernels while maintaining the representation ability. Experimental results on two applications: color constancy and image dehazing, demonstrate the superiority of our proposed network over the existing architectures, i.e., using 1/10$\sim$1/100 network parameters and computational cost while achieving comparable performance.

研究动机与目标

• 解决在病态图像处理任务中建模自然图像统计规律性的挑战。
• 克服标准CNN的局限性，后者专注于局部结构特征，由于区域内部和区域之间的强度变化，难以泛化统计表征。
• 在不牺牲性能的前提下，降低基于深度学习的统计建模中的计算成本和模型复杂度。
• 开发一种轻量化、高效的架构，通过像素打乱实现统计不变性，从而保持表征能力。

提出的方法

• 对输入图像中的像素进行打乱，构建一个保留统计特性但破坏空间结构的像素集合。
• 将打乱后的图像作为CNN的输入，使网络能够专注于统计分布而非局部模式。
• 将所有大感受野卷积层替换为1×1（逐点）卷积，其合理性基于打乱后像素的独立同分布（i.i.d.）特性。
• 构建一个全逐点卷积神经网络架构（FPCNet），其中所有卷积层均使用1×1卷积核，显著减少参数量和浮点运算量（FLOPs）。
• 利用最大池化和激活图来提取并可视化学习到的统计规律性，例如去雾任务中的透射率图。
• 使用标准损失函数，端到端训练网络以完成色彩恒常性和图像去雾等下游任务。

实验结果

研究问题

• RQ1 像素打乱是否能在去除干扰分布学习的空间结构的同时，保留自然图像的统计规律性？
• RQ2 全逐点卷积神经网络架构是否即使仅使用1×1卷积，也能维持足够的表征能力？
• RQ3 FPCNet在保持统计图像处理任务性能的前提下，能在多大程度上降低模型复杂度和推理成本？
• RQ4 FPCNet学习到的统计表征在真实世界和合成数据上的准确性和鲁棒性，与以往方法相比如何？

主要发现

• FPCNet在图像去雾任务中达到与当前最先进方法（如DehazeNet和AODNet）相当的性能，参数量仅为3.5%，计算成本仅为2.62%。
• 在合成雾霾图像上，FPCNet-DH的PSNR为21.17，SSIM为0.8733，优于DCP（PSNR: 20.16，SSIM: 0.8611）和DehazeNet（PSNR: 20.29，SSIM: 0.8680）。
• 在真实雾霾图像上，FPCNet-DH预测透射率图的MSE为1.17×10⁻²，低于DehazeNet的1.20×10⁻²和DCP的2.41×10⁻²。
• FPCNet处理单张640×480图像仅需3ms，远快于DehazeNet（466ms）和AODNet（4.3ms），展现出极高的推理效率。
• 视觉观察显示，FPCNet学习到的统计规律性更有效，其最小通道值的累积分布更陡峭，表明对关键像素的采样更充分。
• 通过池化响应的加权直方图可视化网络学习到的表征，显示其更强烈地集中于低值区域，与雾霾透射率的物理先验一致。