[论文解读] Bio-inspired Min-Nets Improve the Performance and Robustness of Deep Networks

Philipp Grüning, Erhardt Barth|arXiv (Cornell University)|Jan 6, 2022

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出Min-Nets，一种受生物启发的深度学习架构，通过使用成对学习滤波器的最小操作来替换标准卷积块，实现类似与门的特征组合。该方法在CIFAR-10上提升了准确率与鲁棒性，相较于ResNet和DenseNet基线模型，在参数更少的情况下表现更优，且对JPEG压缩伪影的敏感性更低。

ABSTRACT

Min-Nets are inspired by end-stopped cortical cells with units that output the minimum of two learned filters. We insert such Min-units into state-of-the-art deep networks, such as the popular ResNet and DenseNet, and show that the resulting Min-Nets perform better on the Cifar-10 benchmark. Moreover, we show that Min-Nets are more robust against JPEG compression artifacts. We argue that the minimum operation is the simplest way of implementing an AND operation on pairs of filters and that such AND operations introduce a bias that is appropriate given the statistics of natural images.

研究动机与目标

• 通过使用生物启发机制来提升深度神经网络的性能与鲁棒性。
• 探究在学习滤波器对上使用最小操作是否可作为高效且类似与门的特征表示组合方式。
• 评估该机制在CIFAR-10等标准基准数据集以及压缩伪影条件下的影响。
• 证明仅通过将模块替换为Min-模块这一简单架构修改，即可在无需超参数调优的情况下持续提升性能。

提出的方法

• Min-Nets通过将ResNet和DenseNet中的标准残差模块替换为应用两个深度可分离卷积上最小操作的Min-模块来构建。
• 每个Min-模块首先通过带有批归一化和ReLU的1×1卷积扩展通道数。
• 两个深度可分离卷积为每个特征图学习成对滤波器，随后通过逐元素最小操作组合其输出。
• 最后通过带有批归一化和ReLU的1×1卷积减少特征图数量，并应用残差跳跃连接。
• 最小操作作为与门组合的生物合理近似，模拟视觉皮层中的端停止型皮层细胞。
• 该架构在ResNet和DenseNet上应用，除标准训练协议外无需额外超参数调优。

实验结果

研究问题

• RQ1 用使用成对滤波器最小操作的Min-模块替换标准卷积模块，是否能提升网络在标准基准上的性能？
• RQ2 作为与门组合的代理，最小操作是否能增强对JPEG压缩伪影的鲁棒性？
• RQ3 在测试误差与参数效率方面，Min-Nets相较于基线ResNet和DenseNet模型的性能如何？
• RQ4 性能提升与鲁棒性增强是源于类似与门的特征组合，还是特定实现方式（最小操作 vs. 乘法）？

主要发现

• 在所有配置下，Min-Nets在CIFAR-10上的平均测试误差均低于对应的ResNet和DenseNet基线模型，且参数更少。
• 具有18个模块的Min-Net变体在200个周期后于CIFAR-10上达到3.89%的测试误差，优于基线ResNet-18（4.21%）和DenseNet-18（4.15%）。
• Min-Nets在JPEG压缩下表现出显著更低的预测变化率，在质量Q=90时仅有8%的预测发生变化，远低于基线模型。
• 鲁棒性提升归因于Min-单元的高选择性，其对压缩等低层次失真更不敏感。
• 性能增益在ResNet和DenseNet架构上均一致，表明Min-模块设计具有良好的泛化能力。
• 结果表明，性能提升的关键驱动因素是类似与门的特征组合，而非具体实现方式（最小操作 vs. 乘法），因为先前的FP-net和Log-net研究也观察到了类似增益。