[论文解读] A New Convolutional Network-in-Network Structure and Its Applications in Skin Detection, Semantic Segmentation, and Artifact Reduction

Yoonsik Kim, Insung Hwang+1 more|arXiv (Cornell University)|Jan 22, 2017

Image Enhancement Techniques参考文献 45被引用 15

一句话总结

本文提出了一种基于inception模块的改进型网络内网络架构，通过移除池化层以保留特征图分辨率，并增加更大的7×7卷积核以维持感受野。所提出的轻量化全卷积网络在皮肤检测、语义分割和JPEG伪影去除任务中实现了最先进或具有竞争力的性能，证明了其在无需参数密集的转置卷积或上采样层的情况下，对图像到图像任务的强大有效性。

ABSTRACT

The inception network has been shown to provide good performance on image classification problems, but there are not much evidences that it is also effective for the image restoration or pixel-wise labeling problems. For image restoration problems, the pooling is generally not used because the decimated features are not helpful for the reconstruction of an image as the output. Moreover, most deep learning architectures for the restoration problems do not use dense prediction that need lots of training parameters. From these observations, for enjoying the performance of inception-like structure on the image based problems we propose a new convolutional network-in-network structure. The proposed network can be considered a modification of inception structure where pool projection and pooling layer are removed for maintaining the entire feature map size, and a larger kernel filter is added instead. Proposed network greatly reduces the number of parameters on account of removed dense prediction and pooling, which is an advantage, but may also reduce the receptive field in each layer. Hence, we add a larger kernel than the original inception structure for not increasing the depth of layers. The proposed structure is applied to typical image-to-image learning problems, i.e., the problems where the size of input and output are same such as skin detection, semantic segmentation, and compression artifacts reduction. Extensive experiments show that the proposed network brings comparable or better results than the state-of-the-art convolutional neural networks for these problems.

研究动机与目标

• 为解决标准inception网络在语义分割和图像复原等图像到图像任务中的局限性，其中池化操作会降低空间分辨率。
• 通过保持完整的特征图尺寸以实现精确的像素级预测，避免使用转置卷积或上采样层。
• 通过移除全连接层和池化层来减少模型参数量，同时通过使用更大的卷积核来保持感受野。
• 在三个关键的图像到图像学习任务上评估所提出的架构：皮肤检测、语义分割和压缩伪影减少。

提出的方法

• 所提出的架构用单个7×7卷积层替代原始inception模块中的池化层和池化投影层，以保持空间分辨率并扩展感受野。
• 网络仅由卷积层和ReLU层构成，完全去除了全连接层和池化层，以支持端到端的像素级预测。
• 该架构采用改进的inception模块，其中1×1、3×3和7×7卷积核并行处理，随后接ReLU激活，以在不下采样情况下提取多尺度特征。
• 使用标准反向传播进行训练，损失函数为像素级损失，根据任务调整：皮肤检测使用二元交叉熵，语义分割使用Softmax，伪影减少使用L2损失。
• 在三个任务中使用相同深度和滤波器数量，仅在损失函数和输出维度上有所不同，从而实现公平比较。
• 在基准数据集上评估该架构：ECU和Pratheepan用于皮肤检测，CamVid用于语义分割，JPEG压缩图像用于伪影减少。

实验结果

研究问题

• RQ1 无池化层的改进型inception类架构是否能在语义分割和图像复原等图像到图像任务中实现具有竞争力的性能？
• RQ2 在移除池化和转置卷积层的同时增加更大的卷积核，是否能保持或提升在像素级预测任务中的感受野和性能？
• RQ3 所提出的网络在皮肤检测、语义分割和JPEG伪影减少任务中与最先进方法相比表现如何？
• RQ4 轻量化、全卷积网络是否能在参数更少的情况下，超越更深或更复杂的架构在图像到图像学习任务中的表现？

主要发现

• 在CamVid语义分割数据集上，所提网络达到85.5%的全局准确率、65.1%的类别平均准确率和51.7%的平均IoU，优于FCN和SegNet。
• 在ECU数据集上，所提方法在皮肤检测中达到93.8%的F1分数，优于贝叶斯、DSPF和FPSD基线方法。
• 在Pratheepan数据集上，所提方法达到94.1%的F1分数，表明其在不同肤色分布下均具有鲁棒性。
• 在JPEG伪影减少任务中，所提方法在LIVE1数据集上于Q=10时达到29.34 dB的PSNR和0.820的SSIM，在Q=20时达到31.60 dB的PSNR和0.894的SSIM，优于SA-DCT、AR-CNN和RAR-CNN。
• 主观评估表明，与基线方法相比，所提方法能生成更锐利的边缘并减少振铃伪影，尤其在高压缩场景下表现更优。
• 消融研究证实，移除池化层并添加7×7卷积核显著提升了性能，验证了该设计在保留空间分辨率和感受野方面的有效性。