[论文解读] ASU-CNN: An Efficient Deep Architecture for Image Classification and Feature Visualizations

Jamshaid Ul Rahman, Faiza Makhdoom+1 more|arXiv (Cornell University)|May 28, 2023

Neural Networks and Applications被引用 4

一句话总结

本文提出ASU-CNN，一种深度卷积神经网络，其在各层中采用非单调、振荡的激活函数ASU，以增强特征表示能力和分类性能。通过Adam优化器和学习率微调进行训练，该模型在CIFAR-10上取得优异结果，展现出计算效率高且具备有效的特征可视化能力。

ABSTRACT

Activation functions play a decisive role in determining the capacity of Deep Neural Networks as they enable neural networks to capture inherent nonlinearities present in data fed to them. The prior research on activation functions primarily focused on the utility of monotonic or non-oscillatory functions, until Growing Cosine Unit broke the taboo for a number of applications. In this paper, a Convolutional Neural Network model named as ASU-CNN is proposed which utilizes recently designed activation function ASU across its layers. The effect of this non-monotonic and oscillatory function is inspected through feature map visualizations from different convolutional layers. The optimization of proposed network is offered by Adam with a fine-tuned adjustment of learning rate. The network achieved promising results on both training and testing data for the classification of CIFAR-10. The experimental results affirm the computational feasibility and efficacy of the proposed model for performing tasks related to the field of computer vision.

研究动机与目标

• 探讨非单调、振荡激活函数（如ASU）在计算机视觉深度神经网络性能中的影响。
• 设计并评估一种新型CNN架构ASU-CNN，将其ASU激活函数整合至卷积层中。
• 分析不同层的特征图，以可视化ASU如何影响特征学习与表征。
• 在CIFAR-10等标准基准上，展示ASU-CNN的计算可行性与分类有效性。

提出的方法

• ASU-CNN模型采用ASU（自适应正弦单元）激活函数构建，该函数具有非单调性和振荡性，可提供更丰富的表征能力。
• 网络使用Adam优化器，并通过仔细调优的初始学习率进行训练，以提升收敛性与泛化能力。
• 对多个卷积层的特征图进行可视化，以分析学习到的空间与通道级表征。
• 在CIFAR-10数据集上，采用标准训练与测试协议评估模型，以衡量准确率与效率。
• 该架构设计注重计算效率，在深度、宽度与激活复杂性之间实现平衡，适用于实际部署。
• ASU激活函数在所有卷积层中统一应用，以保持一致的非线性变换行为。

实验结果

研究问题

• RQ1 ASU激活函数的非单调性与振荡性如何影响卷积网络中的特征学习？
• RQ2 ASU-CNN在CIFAR-10上的分类准确率是否可与标准ReLU模型相媲美？
• RQ3 ASU-CNN的特征图可视化能为不同层中学习到的表征提供哪些洞察？
• RQ4 采用微调学习率的Adam优化器如何影响ASU-CNN的训练动态与性能？
• RQ5 ASU-CNN架构在计算上是否高效且适用于实际计算机视觉应用？

主要发现

• ASU-CNN在CIFAR-10数据集上实现了优异的分类性能，证明了ASU激活函数在深层网络中的有效性。
• 特征图可视化显示，ASU-CNN在多层中学习到多样且复杂的空间模式，表明其具备更强的表征能力。
• 与传统单调激活函数相比，ASU激活函数可生成更具判别力的特征图，尤其在深层网络中表现更优。
• 当采用Adam优化器与微调学习率时，模型展现出稳定的训练动态与收敛性。
• 实验结果证实，非单调激活函数（如ASU）在真实视觉任务中具有计算可行性与有效性。
• 该架构表现出鲁棒性与高效性，支持其在资源受限环境中的实际部署。