[论文解读] DPW-SDNet: Dual Pixel-Wavelet Domain Deep CNNs for Soft Decoding of JPEG-Compressed Images

Honggang Chen, Xiaohai He+3 more|arXiv (Cornell University)|May 27, 2018

Image and Signal Denoising Methods参考文献 33被引用 7

一句话总结

本文提出DPW-SDNet，一种双域深度卷积神经网络框架，可在像素域和一级离散小波变换（DWT）域中联合恢复JPEG压缩图像。通过使用源自下采样图像版本和DWT系数的4通道输入，该方法在低比特率下将阻塞和模糊伪影减少至最低，相比先前方法PSNR提升最高达2.4 dB，同时保持计算效率。

ABSTRACT

JPEG is one of the widely used lossy compression methods. JPEG-compressed images usually suffer from compression artifacts including blocking and blurring, especially at low bit-rates. Soft decoding is an effective solution to improve the quality of compressed images without changing codec or introducing extra coding bits. Inspired by the excellent performance of the deep convolutional neural networks (CNNs) on both low-level and high-level computer vision problems, we develop a dual pixel-wavelet domain deep CNNs-based soft decoding network for JPEG-compressed images, namely DPW-SDNet. The pixel domain deep network takes the four downsampled versions of the compressed image to form a 4-channel input and outputs a pixel domain prediction, while the wavelet domain deep network uses the 1-level discrete wavelet transformation (DWT) coefficients to form a 4-channel input to produce a DWT domain prediction. The pixel domain and wavelet domain estimates are combined to generate the final soft decoded result. Experimental results demonstrate the superiority of the proposed DPW-SDNet over several state-of-the-art compression artifacts reduction algorithms.

研究动机与目标

• 为解决低比特率下JPEG压缩图像中持续存在的压缩伪影（尤其是阻塞和模糊）问题。
• 开发一种软解码方法，在不修改原始编码器或增加编码比特的前提下提升图像质量。
• 通过利用像素域和小波域中的互补表示，提升图像恢复性能。
• 设计一种高效网络架构，通过处理更小的重塑张量以降低计算成本，同时保持高精度。

提出的方法

• 该方法采用双分支CNN架构：一个分支在像素域处理压缩图像的四个下采样版本，形成4通道输入张量。
• 第二个分支对压缩图像应用一级DWT，并将得到的系数作为4通道输入张量用于小波域处理。
• 每个分支均由一个深层CNN组成，用于在其对应域中学习预测去伪影图像版本。
• 像素域和小波域的预测结果通过融合生成最终的软解码输出。
• 网络通过感知损失与重建损失联合端到端训练，以最小化失真并保留结构细节。
• 架构采用小尺寸张量以保持效率，实现快速推理的同时达到高性能。

实验结果

研究问题

• RQ1 与单域方法相比，是否在像素域和小波域中联合学习能够提升软解码JPEG图像的质量？
• RQ2 如何通过源自下采样图像和DWT系数的4通道输入增强特征表示与伪影抑制？
• RQ3 双域融合策略在PSNR、SSIM和主观视觉质量方面，相较于现有最先进方法的性能提升程度如何？
• RQ4 一个单一的通用模型（无监督DPW-SDNet）是否能在不显著损失性能的前提下泛化至不同量化因子？
• RQ5 DPW-SDNet的训练收敛速度与推理速度相较于其他基于深度学习的软解码方法表现如何？

主要发现

• 在Classic5和LIVE1数据集上，DPW-SDNet达到最先进性能，QF=10时相比DnCNN-3的PSNR最高提升2.4 dB。
• 在QF=40时，DPW-SDNet在Classic5数据集上实现34.07 dB PSNR、0.9039 SSIM和33.24 dB PSNR-B，优于所有对比方法。
• 无监督版本B-DPW-SDNet在多种QF下保持强劲性能，且即使原始QF未知，也始终优于DnCNN-3。
• 训练在200,000次迭代内收敛，且在GPU上每张图像推理时间低于2秒，展现出高度效率。
• 双域融合策略显著减少了阻塞和模糊伪影，如图1所示，纹理恢复效果更优。
• 该方法计算效率高，仅需约9小时在单张GTX 1080 Ti GPU上完成训练，且通过GPU加速实现快速推理。