[论文解读] Convolutional Neural Pyramid for Image Processing

Xiaoyong Shen, Ying-Cong Chen+2 more|arXiv (Cornell University)|Apr 7, 2017

Image Enhancement Techniques参考文献 37被引用 31

一句话总结

本文提出了一种卷积神经金字塔（CNP）框架，可在不增加计算成本的前提下为低层次图像处理任务实现大感受野。通过采用分层多尺度金字塔结构，结合自适应深度与渐进式上采样，CNP能够高效捕捉全局上下文信息，同时保留局部细节，在图像修复、补全、去噪和滤波等任务中实现最先进性能，并支持实时推理速度。

ABSTRACT

We propose a principled convolutional neural pyramid (CNP) framework for general low-level vision and image processing tasks. It is based on the essential finding that many applications require large receptive fields for structure understanding. But corresponding neural networks for regression either stack many layers or apply large kernels to achieve it, which is computationally very costly. Our pyramid structure can greatly enlarge the field while not sacrificing computation efficiency. Extra benefit includes adaptive network depth and progressive upsampling for quasi-realtime testing on VGA-size input. Our method profits a broad set of applications, such as depth/RGB image restoration, completion, noise/artifact removal, edge refinement, image filtering, image enhancement and colorization.

研究动机与目标

• 解决在低层次视觉任务中实现大感受野的同时不牺牲计算效率的挑战。
• 在基于回归的图像处理网络中实现全局上下文理解，这对图像补全与修复等任务至关重要。
• 在深度网络中有效融合多尺度特征，而无需使用池化层，从而保留边缘与纹理细节。
• 设计一个通用框架，支持去噪、增强、着色与滤波等多种应用。
• 通过自适应网络深度与渐进式上采样，实现在QVGA尺寸输入下的准实时推理。

提出的方法

• CNP框架采用双流架构：一路在金字塔各层级处理特征以扩展感受野，另一路在每一层提取并融合特征。
• 采用级联式分层结构，通过逐步上采样与特征融合，实现在计算开销极低的前提下获得大有效感受野。
• 网络使用标准卷积层与可学习滤波器，各路径的深度根据特征复杂度自适应控制。
• 通过跳跃连接与拼接操作在不同尺度间实现特征融合，保留早期层的细粒度细节。
• 框架通过端到端训练支持多种回归任务，包括图像修复、补全与滤波，使用监督损失函数进行优化。
• 通过渐进式上采样与高效推理调度优化测试过程，实现在QVGA输入下28 FPS、在VGA输入下9 FPS的推理速度。

实验结果

研究问题

• RQ1 深度神经网络是否能在不产生高计算成本的前提下，为低层次视觉任务实现极大连锁感受野？
• RQ2 如何在不使用分类网络中常见的池化层的情况下，有效融合网络中的多尺度特征？
• RQ3 单一统一架构是否能泛化于多种图像处理任务，如修复、补全与去噪？
• RQ4 大感受野在基于全局优化的任务（如图像补全与着色）中能将性能提升到何种程度？
• RQ5 是否可能在实现低层次视觉应用最先进性能的同时，保持高推理速度？

主要发现

• CNP框架在计算成本显著低于现有方法的前提下，实现了高达143×143像素的感受野，支持全局上下文建模。
• 在NYU Depth V2数据集上，该方法取得了39.42的PSNR，优于先前最先进方法（Lu et al.为34.53，Mutual-Structure为33.97）。
• 在人像数据集的图像补全任务中，CNP取得41.21的PSNR，显著优于归一化卷积（16.05）、基于CNN的修复方法（30.52）与PatchMatch（24.81）。
• 在图像滤波学习任务中，CNP在WLS、RGF与WMF滤波器上分别取得39.6、42.6与39.3的PSNR，优于[46]，并匹配或超越[27]，且推理速度提升31%。
• 在Nvidia Titan X上，该框架以9帧/秒的速度处理VGA尺寸图像，展示了在多样化应用中的准实时性能。
• 视觉对比显示，CNP结果在清晰度与细节保留方面优于基线方法，尤其在纹理与边界保持方面表现更优。