[论文解读] Image Companding and Inverse Halftoning using Deep Convolutional Neural Networks

Xianxu Hou, Guoping Qiu|arXiv (Cornell University)|Jul 1, 2017

Color Science and Applications参考文献 41被引用 40

一句话总结

本文提出了一种基于深度卷积神经网络（CNN）与感知损失的深度学习框架，用于图像压缩与反向网点化处理。通过训练CNN作为非线性映射函数，从低比特或网点化输入中重建出高比特深度或连续色调图像。该方法在基准数据集上的PSNR和SSIM指标上显著优于先前方法，达到当前最优性能。

ABSTRACT

In this paper, we introduce deep learning technology to tackle two traditional low-level image processing problems, companding and inverse halftoning. We make two main contributions. First, to the best knowledge of the authors, this is the first work that has successfully developed deep learning based solutions to these two traditional low-level image processing problems. This not only introduces new methods to tackle well-known image processing problems but also demonstrates the power of deep learning in solving traditional signal processing problems. Second, we have developed an effective deep learning algorithm based on insights into the properties of visual quality of images and the internal representation properties of a deep convolutional neural network (CNN). We train a deep CNN as a nonlinear transformation function to map a low bit depth image to higher bit depth or from a halftone image to a continuous tone image. We also employ another pretrained deep CNN as a feature extractor to derive visually important features to construct the objective function for the training of the mapping CNN. We present experimental results to demonstrate the effectiveness of the new deep learning based solutions.

研究动机与目标

• 为解决图像压缩与反向网点化问题中因信息丢失而带来的病态性问题，即从低比特或二值表示中恢复原始信息。
• 开发一种基于深度学习的解决方案，以超越传统人工设计方法在这些低层次图像处理任务中的表现。
• 探究来自预训练CNN不同层级的感知损失对图像重建质量的影响。
• 证明深度CNN能够有效建模视觉质量与空间相关性，从而从压缩或网点化输入中重建出高保真图像。

提出的方法

• 训练一个深度CNN作为非线性变换函数，将低比特深度或网点化图像映射为更高比特深度或连续色调图像。
• 使用一个独立的、预训练的深度CNN（如VGG）作为特征提取器，以提取对感知重要的特征，用于构建损失函数。
• 训练目标结合了像素级重建损失与来自预训练网络中间卷积层的感知损失。
• 在不同网络深度（如conv1_1、conv2_1等）计算感知损失，以评估特征层选择对图像质量的影响。
• 采用成对的原始图像与压缩/网点化图像数据，在监督学习范式下进行模型训练。
• 通过PSNR与SSIM评估模型性能，并对损失层选择进行消融实验。

实验结果

研究问题

• RQ1 如何有效利用深度CNN从低比特深度或网点化输入中重建出高质量图像，以最小化可见伪影？
• RQ2 在图像重建任务中，从预训练CNN中选择何种特征层作为构建感知损失的最优选择？
• RQ3 与传统的像素级损失相比，感知损失在视觉质量以及PSNR和SSIM等定量指标上的表现如何？
• RQ4 一个统一的深度学习框架能否有效同时处理图像压缩与反向网点化任务？
• RQ5 预训练CNN中的不同网络层在多大程度上影响重建图像的感知质量？

主要发现

• 所提方法在反向网点化任务中达到新的最先进水平，在Koala图像上实现27.63 dB的PSNR与0.89的SSIM，显著优于GLDP与LLDO方法。
• 在Barbara图像上，该方法实现31.79 dB的PSNR与0.92的SSIM，显著超过MAP与ALF等先前方法。
• 在conv1_1层提取感知损失训练的模型取得了最佳整体性能；而使用更高层损失则引入了轻微的网格状伪影，导致PSNR与SSIM下降。
• 对于彩色图像，该方法在Peppers图像上实现31.44 dB的PSNR与0.89的SSIM，优于所有对比方法。
• 消融实验结果证实，来自早期卷积层的感知损失能提供更优的图像质量，在细节保留与伪影抑制之间实现良好平衡。
• 该框架能有效减少压缩图像中的块效应、轮廓效应与振铃效应，并能重建网点化图像中的精细纹理与边缘。