[论文解读] How is Contrast Encoded in Deep Neural Networks?

Arash Akbarinia, Karl R. Gegenfurtner|arXiv (Cornell University)|Sep 5, 2018

Advanced Neural Network Applications参考文献 12被引用 5

一句话总结

本文通过分析在不同输入对比度水平下卷积层中的核激活模式，研究了深度神经网络如何实现对比度不变性。研究发现，具有多个卷积层位于首个最大池化层之前的网络（如VGG和Inception）通过让最后一个此类卷积层吸收对比度变化，从而防止其向更高层传播，实现鲁棒性，这一机制与生物视觉处理机制相一致。

ABSTRACT

Contrast is a crucial factor in visual information processing. It is desired for a visual system - irrespective of being biological or artificial - to "perceive" the world robustly under large potential changes in illumination. In this work, we studied the responses of deep neural networks (DNN) to identical images at different levels of contrast. We analysed the activation of kernels in the convolutional layers of eight prominent networks with distinct architectures (e.g. VGG and Inception). The results of our experiments indicate that those networks with a higher tolerance to alteration of contrast have more than one convolutional layer prior to the first max-pooling operator. It appears that the last convolutional layer before the first max-pooling acts as a mitigator of contrast variation in input images. In our investigation, interestingly, we observed many similarities between the mechanisms of these DNNs and biological visual systems. These comparisons allow us to understand more profoundly the underlying mechanisms of a visual system that is grounded on the basis of "data-analysis".

研究动机与目标

• 理解深度神经网络（DNNs）在不同光照条件下实现对比度不变性的机制。
• 研究网络架构设计，特别是最大池化前的卷积层数量，是否影响对比度鲁棒性。
• 比较DNNs与生物视觉系统在处理对比度变化时的行为差异。
• 识别对输入图像对比度变化具有缓解作用的具体网络层。

提出的方法

• 本研究在ImageNet验证集上分析了八种具有不同架构的知名DNNs，包括VGG和Inception。
• 每种网络均使用同一输入图像的11种对比度水平（从100%降至5%）进行测试。
• 针对前五个卷积层中的每一层，记录在不同对比度水平下每个空间位置激活最强的卷积核。
• 计算每层在不同对比度水平下相同获胜卷积核的比例，以评估对对比度变化的敏感度。
• 重点识别卷积核身份随对比度显著变化的层，特别是首个最大池化层之前的最后一个卷积层。
• 对对比度不变网络（如VGG、Inception）与非不变网络（如GoogLeNet、AlexNet）进行了对比分析。

实验结果

研究问题

• RQ1 不同DNN架构如何响应输入图像对比度的变化？
• RQ2 哪些架构特征可将对比度不变网络与对对比度变化敏感的网络区分开来？
• RQ3 哪一层卷积层最能有效缓解输入图像的对比度变化？
• RQ4 DNNs在多大程度上模拟了生物视觉系统中观察到的对比度不变机制？

主要发现

• 在首个最大池化层之前具有多个卷积层的网络（如VGG和Inception）在所有对比度水平下，包括低至5%对比度时，均保持了高分类准确率。
• 在首个最大池化层之前的最后一个卷积层对对比度变化表现出最高敏感度，表明其作为对比度变化的主要缓解机制。
• 相比之下，最大池化紧随首个卷积层之后的网络（如GoogLeNet和AlexNet）在低对比度水平下性能急剧下降。
• 随着对比度降低，最后一个最大池化前的卷积层中相同获胜卷积核的比例显著下降，表明其对输入对比度具有动态适应能力。
• 在Inception-V3中，当对比度降至10%时，最后一个最大池化前的卷积层中超过三分之二的最激活卷积核发生了变化，但分类准确率仍保持稳定，表明通过早期适应实现了鲁棒性。
• 该模式在对比度不变网络中具有一致性：对对比度的最高敏感度出现在最大池化前的最后一个卷积层，而非更深的层。