[论文解读] Effects of Degradations on Deep Neural Network Architectures

Prasun Roy, Subhankar Ghosh+2 more|arXiv (Cornell University)|Jul 26, 2018

Advanced Neural Network Applications参考文献 18被引用 51

一句话总结

本文分析六种深度架构（VGG-16、VGG-19、ResNet-50、Inception-v3、MobileNet、CapsuleNet）在六种图像降质模型下的表现，并提出改进鲁棒性的方法，包括 NTT 层和 V-CapsNet 融合架构。

ABSTRACT

Deep convolutional neural networks (CNN) have massively influenced recent advances in large-scale image classification. More recently, a dynamic routing algorithm with capsules (groups of neurons) has shown state-of-the-art recognition performance. However, the behavior of such networks in the presence of a degrading signal (noise) is mostly unexplored. An analytical study on different network architectures toward noise robustness is essential for selecting the appropriate model in a specific application scenario. This paper presents an extensive performance analysis of six deep architectures for image classification on six most common image degradation models. In this study, we have compared VGG-16, VGG-19, ResNet-50, Inception-v3, MobileNet and CapsuleNet architectures on Gaussian white, Gaussian color, salt-and-pepper, Gaussian blur, motion blur and JPEG compression noise models.

研究动机与目标

• 评估六种最先进架构对六种常见图像降质的鲁棒性。
• 提出在不过度增加计算成本的前提下改进鲁棒性的方法。
• 评估鲁棒性增强模块在噪声和对抗扰动下对性能的影响。
• 提供数据集和基准，用于对图像降质鲁棒性进行评测。

提出的方法

• 在干净数据上训练六种架构，并在逐步降质的验证数据上评估。
• 使用六种降质模型：高斯白噪声、高斯颜色噪声、盐和椒盐、高斯模糊、运动模糊和 JPEG 压缩。
• 引入 NTT（Nontrainable-Trainable）层，先是一个深度不可训练的滤波器，随后是一个深度可训练的滤波器，以提高鲁棒性。
• 通过将 VGG-19 的卷积层融合到 CapsuleNet 中开发 V-CapsNet 以提升性能。
• 使用 FGSM 分析对抗扰动下的鲁棒性，并研究 NTT 层如何影响鲁棒性和感知质量。
• 使用 SSIM 在有噪声和无噪声的情况下评估特征图的变化，以了解 CapsuleNet 相对于更深的 CNN 的深度相关鲁棒性。

实验结果

研究问题

• RQ1 六种深度架构在合成数字数据集和自然图像数据集上对常见图像降质的响应如何？
• RQ2 架构修改（NTT 层、V-CapsNet 融合）是否能够在不严重牺牲基线准确度的情况下提高对降质的鲁棒性？
• RQ3 网络深度与对噪声鲁棒性的关系是什么，尤指 CapsuleNet 与卷积神经网络（CNN）之间？
• RQ4 在对抗扰动下，这些架构的表现如何，鲁棒性模块展现出何种防御行为？

主要发现

• CapsuleNet 对附加的高斯噪声具有显著鲁棒性，尤其在较高的噪声密度下，相较于 CNNs。
• 基于 VGG 的网络在高斯噪声下的退化通常比 ResNet、Inception、MobileNet 等更浅层的深度 CNN 更为温和。
• 高斯模糊和运动模糊降低 CNN 的性能，VGG-16/VGG-19 在模糊降质下通常优于更深层的架构。
• JPEG 压缩在质量因子 q>20 时影响有限，但当 q≤20 时 ResNet 和 MobileNet 的退化较为剧烈，而 VGG、Inception 和 CapsuleNet 更具鲁棒性。
• NTT 层显著提高各架构对降质的鲁棒性，但对基线准确度有一定权衡。
• V-CapsNet 融合架构在干净数据上获得最高准确度，但对降质的鲁棒性衰减速度快于单独的 CapsuleNet。
• 更深的网络往往对扰动更敏感；CapsuleNet 的更浅深度有助于其对噪声的鲁棒性。
• 对抗鲁棒性结果显示 CapsuleNet 和 VGG 表现较差，而 ResNet-50、Inception-v3、MobileNet 和 V-CapsNet 对 FGSM 有更好的抗性，NTT 影响对抗扰动的动力学。