[论文解读] $\mathbf{D^3}$: Deep Dual-Domain Based Fast Restoration of JPEG-Compressed Images

Zhangyang Wang, Ding Liu+4 more|arXiv (Cornell University)|Jan 16, 2016

Advanced Image Processing Techniques参考文献 28被引用 3

一句话总结

本文提出 D³，一种深度双域网络，利用 JPEG 特定先验知识与稀疏编码专业知识以恢复压缩图像。通过整合 DCT 域与像素域的稀疏性，并引入轻量级一步稀疏推理（1-SI）模块，D³ 实现了当前最优的 PSNR 性能——相比先前的深度模型提升高达 1 dB——同时速度超过 30 倍，适用于实时 HDTV 与视频编解码应用。

ABSTRACT

In this paper, we design a Deep Dual-Domain ($\mathbf{D^3}$) based fast restoration model to remove artifacts of JPEG compressed images. It leverages the large learning capacity of deep networks, as well as the problem-specific expertise that was hardly incorporated in the past design of deep architectures. For the latter, we take into consideration both the prior knowledge of the JPEG compression scheme, and the successful practice of the sparsity-based dual-domain approach. We further design the One-Step Sparse Inference (1-SI) module, as an efficient and light-weighted feed-forward approximation of sparse coding. Extensive experiments verify the superiority of the proposed $D^3$ model over several state-of-the-art methods. Specifically, our best model is capable of outperforming the latest deep model for around 1 dB in PSNR, and is 30 times faster.

研究动机与目标

• 通过引入问题特定先验知识，解决通用深度学习模型在恢复 JPEG 压缩图像方面的局限性。
• 通过设计前馈式、轻量级近似方法，克服迭代稀疏编码方法的低效性。
• 通过优化计算速度，在不损失质量的前提下，实现高帧率视频编解码器的实时后处理。
• 通过结构化架构设计，提升对细粒度细节与纹理（尤其是文字和边缘区域）的恢复能力。
• 证明将 JPEG 压缩知识与稀疏编码原理相结合，可同时提升深度网络的性能与可解释性。

提出的方法

• 设计两级深度网络：第一阶段通过学习的基于 DCT 的模块在 DCT 域进行重建，以恢复高频分量。
• 第二阶段通过轻量级、前馈式网络在像素域进行重建，以抑制伪影并优化整体结构。
• 引入一步稀疏推理（1-SI）模块，作为稀疏编码的可微分、非迭代近似，替代传统迭代求解器。
• 使用框约束损失函数（L_B）对 DCT 系数进行正则化，强制满足物理合理性，提升细节恢复能力。
• 利用高质量训练图像的稀疏编码结果初始化网络，以注入高频细节知识。
• 将恒定 DCT 与逆 DCT 层作为可微分组件集成，支持带领域特定归纳偏置的端到端训练。

实验结果

研究问题

• RQ1 与通用深度网络相比，显式整合 JPEG 压缩先验与双域稀疏性是否能提升图像恢复性能？
• RQ2 轻量级、前馈式稀疏编码近似（1-SI）在速度与精度方面与迭代稀疏编码相比如何？
• RQ3 基于稀疏编码的初始化在恢复压缩图像中的细纹理与文字方面，其提升程度有多大？
• RQ4 可微分、跨域架构（DCT + 像素）是否能在 PSNR 与推理速度两方面均优于单域或非双域模型？
• RQ5 框约束损失对保留高频细节与减少最终输出中伪影的影响如何？

主要发现

• 在 LIVE1 数据集上，D³ 的 PSNR 最高比最新深度学习模型（AR-CNN）高出 1 dB，证明其具有更优的恢复质量。
• 最佳 D³ 模型（D³-256）每张图像处理时间约为 12 ms，速度超过 AR-CNN（每张约 400 ms）的 30 倍。
• 中间输出显示，DCT 域重建能增强高频细节，但引入伪影，这些伪影在像素域阶段被有效抑制。
• 基于稀疏编码的初始化显著提升了文字与纹理的恢复效果，表现为使用随机初始化时性能明显下降。
• 框约束损失通过限制 DCT 系数范围，有助于提升 PSNR，尤其在边缘与纹理区域更有效地保留了精细细节。
• D³ 能够实时处理 80p 及以上帧率的视频序列，确立了其在 HDTV 与视频编解码后处理中的实用价值。