[论文解读] Deep Neural Network Hyperparameter Optimization with Orthogonal Array Tuning

Xiang Zhang, Xiaocong Chen+3 more|arXiv (Cornell University)|Jul 31, 2019

Machine Learning and Data Classification参考文献 15被引用 27

一句话总结

本文提出正交数组调优方法（OATM），一种用于深度神经网络的新型超参数优化技术，该方法利用正交数组实验设计高效探索超参数空间。通过系统性地采样学习率、L2正则化和网络架构参数的平衡、部分组合，OATM在显著减少调优时间的同时，实现了优于网格搜索、随机搜索和贝叶斯优化的最先进性能——在RNN上达到92.5%的准确率，在CNN上达到79.7%，超越了初始OATM试验的最佳结果。

ABSTRACT

Deep learning algorithms have achieved excellent performance lately in a wide range of fields (e.g., computer version). However, a severe challenge faced by deep learning is the high dependency on hyper-parameters. The algorithm results may fluctuate dramatically under the different configuration of hyper-parameters. Addressing the above issue, this paper presents an efficient Orthogonal Array Tuning Method (OATM) for deep learning hyper-parameter tuning. We describe the OATM approach in five detailed steps and elaborate on it using two widely used deep neural network structures (Recurrent Neural Networks and Convolutional Neural Networks). The proposed method is compared to the state-of-the-art hyper-parameter tuning methods including manually (e.g., grid search and random search) and automatically (e.g., Bayesian Optimization) ones. The experiment results state that OATM can significantly save the tuning time compared to the state-of-the-art methods while preserving the satisfying performance. The codes are open in GitHub (https://github.com/xiangzhang1015/OATM)

研究动机与目标

• 解决深度学习中高超参数敏感性这一关键挑战，其中性能可能因配置不同而剧烈波动（例如，从32.2%到92.6%）。
• 克服传统超参数调优方法的低效性，如网格搜索（计算成本高）和随机搜索（缺乏收敛保证）。
• 改进贝叶斯优化，后者对代理模型参数敏感，且在高维超参数空间中可能难以扩展。
• 提出一种系统化、高效且可复现的深度学习超参数调优方法，基于正交数组设计原理。
• 在不同深度学习架构（RNN和CNN）及真实世界数据集上，展示OATM的普适性与适应性。

提出的方法

• 应用田口方法的正交数组设计，构建高度部分化、平衡的实验矩阵，仅采样所有可能超参数组合中的代表性子集。
• 将超参数（因子）如学习率、L2正则化、层数和神经元数量定义为正交数组中的离散水平。
• 使用正交数组进行实验，对每组超参数水平的唯一组合训练并评估模型。
• 执行极差分析，计算每水平下的平均准确率，确定性能波动范围，并根据极差大小对因子重要性进行排序。
• 将获得最高平均准确率的超参数组合选为最优配置。
• 通过最终重新评估验证最优设置，确认其对全局最优的近似性，表现为性能超过实验设计中最佳试验结果。

实验结果

研究问题

• RQ1 与网格搜索、随机搜索和贝叶斯优化相比，基于正交数组的超参数调优是否能在显著减少调优时间的前提下实现更优性能？
• RQ2 在真实世界数据集上，将所提出的OATM方法应用于循环神经网络和卷积神经网络时，其效率和有效性如何？
• RQ3 OATM在多大程度上能通过极差分析识别出最具影响力的超参数？该排序是否与实际性能影响一致？
• RQ4 OATM是否能持续近似或超越全局最优？其最终性能是否超过实验设计中最佳试验结果？
• RQ5 OATM是否可在不同深度学习架构和数据集上实现泛化，展现出鲁棒性与适应性？

主要发现

• 在RNN模型上，OATM实现了92.5%的测试准确率，超过初始OATM试验中观察到的最高准确率（89.7%），表明其对全局最优的高效逼近。
• 在CNN模型上，OATM最终达到79.7%的准确率，超过OATM实验集中的最佳结果（77.9%），证实其发现更优配置的能力。
• 极差分析显示，在RNN中，L2正则化（λ）是最具影响力的超参数，其次为层数（nl）、学习率（lr）和神经元数量（nn），重要性排序为λ > nl > lr > nn。
• 在CNN中，层数（nl′）是最重要的因素，其次为神经元数量（nn′）、学习率（lr′）和卷积核大小（f′），重要性排序为nl′ > nn′ > lr′ > f′。
• 与网格搜索和随机搜索相比，OATM显著减少了调优时间，同时保持或提升了性能，展现出卓越的效率与有效性。
• 通过公开发布源代码和数据集，该方法的可复现性得到增强，支持复制与在深度学习研究中的广泛采用。