[论文解读] A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks

Alberto Marchisio, Muhammad Abdullah Hanif+3 more|arXiv (Cornell University)|Oct 27, 2018

Neural Networks and Applications参考文献 16被引用 13

一句话总结

该论文提出了一种自动化方法，用于在深层神经网络中逐层选择最优的激活函数（ReLU、ELU、SELU）和丢弃率，通过利用早期评估点将训练时间减少4倍至7倍，同时在MNIST、CIFAR-10和CIFAR-100基准上实现7%至15%的相对误差降低，且性能和功耗开销极低。

ABSTRACT

Activation functions influence behavior and performance of DNNs. Nonlinear activation functions, like Rectified Linear Units (ReLU), Exponential Linear Units (ELU) and Scaled Exponential Linear Units (SELU), outperform the linear counterparts. However, selecting an appropriate activation function is a challenging problem, as it affects the accuracy and the complexity of the given DNN. In this paper, we propose a novel methodology to automatically select the best-possible activation function for each layer of a given DNN, such that the overall DNN accuracy, compared to considering only one type of activation function for the whole DNN, is improved. However, an associated scientific challenge in exploring all the different configurations of activation functions would be time and resource-consuming. Towards this, our methodology identifies the Evaluation Points during learning to evaluate the accuracy in an intermediate step of training and to perform early termination by checking the accuracy gradient of the learning curve. This helps in significantly reducing the exploration time during training. Moreover, our methodology selects, for each layer, the dropout rate that optimizes the accuracy. Experiments show that we are able to achieve on average 7% to 15% Relative Error Reduction on MNIST, CIFAR-10 and CIFAR-100 benchmarks, with limited performance and power penalty on GPUs.

研究动机与目标

• 为解决在深层神经网络（DNN）中跨层选择最优激活函数的挑战，该挑战显著影响准确率和复杂度。
• 降低在大型DNN中探索所有可能激活函数配置的计算成本，因为该方法对大型DNN不可行。
• 支持混合DNN架构，其中不同层使用不同的激活函数（ReLU、ELU、SELU），以提升性能。
• 自动确定每层的最优丢弃率，特别是使用alpha丢弃来保持SELU的自归一化特性。
• 通过基于准确率梯度分析识别早期评估点（EP），最小化超参数搜索期间的训练时间。

提出的方法

• 该方法通过在每个训练周期后对准确率曲线进行基于梯度的分析，以识别用于早期模型比较的最优评估点（EP）。
• 在EP处，评估不同激活函数配置在各层上的表现，从而实现对次优配置的早期终止。
• 该方法支持三种激活函数：ReLU（使用标准丢弃）、ELU（使用标准丢弃）和SELU（使用alpha丢弃），以保持自归一化特性。
• 对于每一层，该方法联合优化激活函数和丢弃率，以在最小化训练时间的同时最大化最终准确率。
• EP通过监控准确率梯度自动选择；实验表明，在EP处进行比较可获得与完整训练相当的结果。
• 最终输出为一种混合DNN，其每层具有特定的激活函数和丢弃率，以最大化准确率，并在多个基准上得到验证。

实验结果

研究问题

• RQ1 在选定层中用ELU或SELU替代ReLU是否能提升DNN准确率，而不会显著增加训练时间？
• RQ2 在不降低最终准确率的前提下，训练过程中评估模型配置的最优时间点是什么？
• RQ3 当使用不同激活函数（特别是SELU搭配alpha丢弃）时，如何为每层自适应调整丢弃率？
• RQ4 能否通过基于准确率趋势的早期停止来加速激活函数配置的探索？
• RQ5 使用早期评估点时，训练时间减少与准确率提升之间的权衡是什么？

主要发现

• 与原始DNN相比，该方法在MNIST、CIFAR-10和CIFAR-100基准上实现了7%至15%的相对误差降低。
• 训练时间减少（TTR）因子在3.75倍至7.22倍之间，具体取决于网络结构和数据集，这是由于在EP处进行早期评估所致。
• 在LeNet-5（MNIST）上，最佳混合模型在EP=13时达到99.26%的准确率，相对误差降低（RER）为17.78%，TTR为2.31倍。
• 在AlexNet（CIFAR-10）上，混合模型实现了7.11%的RER，TTR为7.22倍，且功耗仅增加1.94%。
• 在VGG-16（CIFAR-100）上，该方法实现了4.48%的TTR和15.56%的RER，证明了其在更深架构中的可扩展性。
• 通过梯度分析选择的EP可获得与完整训练相当的准确率，验证了早期停止策略的有效性。