[论文解读] Automated Architecture Design for Deep Neural Networks

Steven Abreu|arXiv (Cornell University)|Aug 22, 2019

Advanced Neural Network Applications参考文献 55被引用 27

一句话总结

该论文提出通过进化搜索与建构性动态学习（前向思维）实现深度前馈神经网络的自动化神经架构设计，以减少人工干预和模型复杂度。结果表明，进化搜索与前向思维方法可在更少参数和更短训练时间内实现与人工设计相当甚至更优的性能，其中通过前向思维方法实现5×750架构的测试准确率达到96.38%。

ABSTRACT

Machine learning has made tremendous progress in recent years and received large amounts of public attention. Though we are still far from designing a full artificially intelligent agent, machine learning has brought us many applications in which computers solve human learning tasks remarkably well. Much of this progress comes from a recent trend within machine learning, called deep learning. Deep learning models are responsible for many state-of-the-art applications of machine learning. Despite their success, deep learning models are hard to train, very difficult to understand, and often times so complex that training is only possible on very large GPU clusters. Lots of work has been done on enabling neural networks to learn efficiently. However, the design and architecture of such neural networks is often done manually through trial and error and expert knowledge. This thesis inspects different approaches, existing and novel, to automate the design of deep feedforward neural networks in an attempt to create less complex models with good performance that take away the burden of deciding on an architecture and make it more efficient to design and train such deep networks.

研究动机与目标

• 减少设计深度前馈神经网络架构过程中的人工、试错式流程。
• 探索自动化方法——特别是进化搜索与建构性动态学习——以生成高效且高性能的网络架构。
• 评估自动化方法是否能在降低复杂度与训练时间的前提下，产生与人工设计网络相当或更优的性能。
• 研究前向思维（一种建构性动态学习方法）在逐层自动构建网络架构方面的有效性。

提出的方法

• 采用进化搜索方法，通过基于验证准确率的选择、交叉和变异操作，演化架构种群以探索潜在架构。
• 实现前向思维，一种建构性动态学习方法，通过基于残差误差逐步添加隐藏单元，以提升泛化能力。
• 使用小批量随机梯度下降配合RMSProp优化（学习率η=0.001，动量γ=0.9）训练所有模型。
• 使用交叉熵损失和准确率在MNIST基准上评估架构性能，激活函数采用ReLU、tanh和softmax。
• 从测试准确率、训练时间与参数数量三个方面，对比人工设计、随机搜索、进化搜索与前向思维方法的性能表现。
• 应用早停策略，并在所有实验中保持固定的批量大小128以确保训练一致性。

实验结果

研究问题

• RQ1 进化搜索是否能有效发现具有良好泛化性能的深度前馈神经网络架构，而无需人工设计？
• RQ2 与传统反向传播相比，前向思维（一种建构性动态学习方法）在准确率与训练效率方面表现如何？
• RQ3 在使用自动化架构搜索方法时，模型复杂度（参数数量）与性能之间的权衡关系如何？
• RQ4 自动化架构设计是否能在保持或提升测试准确率的同时，减少训练时间与资源消耗？

主要发现

• 进化搜索在50个周期后达到96.38%的测试准确率，使用5×750架构，训练耗时266.9秒。
• 前向思维生成的5×750架构在训练准确率达到97.67%，测试准确率达到96.38%，在泛化能力上优于标准反向传播方法。
• 使用前向思维方法，2×512架构在92.3秒内完成训练，测试准确率达到97.42%，收敛速度优于人工设计。
• 通过前向思维实现的建构性动态学习减少了对人工架构调优的依赖，生成了参数更少且泛化能力更强的模型。
• 进化搜索与前向思维均实现了高达97.67%的测试准确率，同时降低了对大型、过度参数化架构的依赖。
• 自动化搜索与建构性学习的结合显著提升了训练速度与性能，尤其在训练初期阶段表现优于人工设计。