[论文解读] Autonomously and Simultaneously Refining Deep Neural Network Parameters by a Bi-Generative Adversarial Network Aided Genetic Algorithm

Yantao Lu, Burak Kakillioglu+1 more|arXiv (Cornell University)|Sep 24, 2018

Advanced Neural Network Applications参考文献 14被引用 4

一句话总结

该论文提出了一种基于双向生成对抗网络的遗传算法（Bi-GAN-GA），可自主且同时优化多种深度神经网络超参数（如卷积核数量、神经元数量、卷积核大小、激活函数及正则化技术），而无需依赖离散的候选集合。该方法通过在生成对抗网络框架中引入两个相互竞争的生成器，实现了连续、自适应的搜索，在网络深度更浅的情况下，仍实现了85.2%的准确率，优于3D Shapenets（84.17%）和仅使用遗传算法的基线模型。

ABSTRACT

The choice of parameters, and the design of the network architecture are important factors affecting the performance of deep neural networks. Genetic Algorithms (GA) have been used before to determine parameters of a network. Yet, GAs perform a finite search over a discrete set of pre-defined candidates, and cannot, in general, generate unseen configurations. In this paper, to move from exploration to exploitation, we propose a novel and systematic method that autonomously and simultaneously optimizes multiple parameters of any deep neural network by using a GA aided by a bi-generative adversarial network (Bi-GAN). The proposed Bi-GAN allows the autonomous exploitation and choice of the number of neurons, for fully-connected layers, and number of filters, for convolutional layers, from a large range of values. Our proposed Bi-GAN involves two generators, and two different models compete and improve each other progressively with a GAN-based strategy to optimize the networks during GA evolution. Our proposed approach can be used to autonomously refine the number of convolutional layers and dense layers, number and size of kernels, and the number of neurons for the dense layers; choose the type of the activation function; and decide whether to use dropout and batch normalization or not, to improve the accuracy of different deep neural network architectures. Without loss of generality, the proposed method has been tested with the ModelNet database, and compared with the 3D Shapenets and two GA-only methods. The results show that the presented approach can simultaneously and successfully optimize multiple neural network parameters, and achieve higher accuracy even with shallower networks.

研究动机与目标

• 解决深度神经网络架构与超参数优化中缺乏系统性、自动化方法的问题。
• 克服传统遗传算法（GA）依赖离散、预定义候选集合的局限，无法探索未见配置的问题。
• 实现对关键网络参数（如卷积核数量、神经元数量、卷积核大小、激活函数及正则化选择，例如dropout、批归一化）的自主、连续优化。
• 通过智能、自适应的超参数搜索，提升模型准确率的同时减少网络深度。
• 开发一种统一框架，适用于多种深度学习架构，且无需进行架构重新设计。

提出的方法

• 该方法将遗传算法（GA）与一种新型双向生成对抗网络（Bi-GAN）相结合，Bi-GAN包含两个生成器和两个判别器，以实现在超参数空间中的连续、自适应搜索。
• Bi-GAN中的两个生成器负责生成候选网络配置（如卷积核数量、神经元数量），并通过对抗训练提升生成架构的质量与多样性。
• 遗传算法对网络配置种群进行演化，其中适应度基于验证准确率评估，而Bi-GAN通过生成超越离散集合的新颖、高质量配置来增强探索能力。
• 该框架可自主决定架构选择：卷积层/全连接层的数量、卷积核大小、卷积核数量、神经元数量、激活函数选择，以及是否使用批归一化或dropout。
• 生成器与判别器之间的对抗训练使系统能够在遗传算法演化过程中，持续挖掘并优化有前景的配置。
• 该方法在ModelNet数据集上通过3D形状分类基准进行评估，与3D Shapenets及两个仅使用遗传算法的基线模型进行比较。

实验结果

研究问题

• RQ1 基于Bi-GAN的遗传算法框架能否自主且同时优化多种深度神经网络超参数，包括卷积核数量、神经元数量、卷积核大小及正则化选择？
• RQ2 与依赖离散、预定义超参数集合的传统GA方法相比，所提方法在准确率与收敛性方面是否表现更优？
• RQ3 Bi-GAN框架能否生成未受预定义候选值限制的新型、高性能网络架构？
• RQ4 该方法在使用更少层数的情况下，能否实现高于人工设计模型（如3D Shapenets）的准确率？
• RQ5 在遗传算法组件中，不同种群规模下该方法的性能表现如何？

主要发现

• 所提出的Bi-GAN-GA方法在ModelNet数据集上实现了85.2%的测试准确率，优于3D Shapenets模型（84.17%）及所有仅使用遗传算法的基线模型。
• 在所有测试配置下，该方法的准确率均高于小集合GA（82.94%）和大集合GA（36.41%），证明了其卓越的优化能力。
• 该方法发现了一种包含三层卷积层的架构，其卷积核数量分别为80、105和202，其准确率高于四层卷积的Shapenets模型。
• 当最大卷积层数为五层时，该方法准确率达到86.62%，表明其具备良好的可扩展性及向更深架构拓展的潜力。
• 在所有测试的种群规模（5、10、20）下，该方法均持续优于小集合GA，且准确率更高、收敛更快，如图8和图9所示。
• 最终由该方法选择的架构包含第一层全连接层601个神经元、第二层240个神经元，激活函数分别为Leaky ReLU和ReLU，并在最后一层全连接层中使用了dropout，充分体现了其在自动架构发现方面的有效性。