[论文解读] Finding Better Topologies for Deep Convolutional Neural Networks by Evolution

Honglei Zhang, Serkan Kıranyaz+1 more|arXiv (Cornell University)|Sep 10, 2018

Advanced Neural Network Applications参考文献 24被引用 18

一句话总结

本文提出了一种利用知识继承与学习的进化算法，可在有限计算资源下高效搜索最优的深度卷积神经网络（CNN）拓扑结构。通过在CIFAR-10上进化CNN架构，该方法发现了层数更少但性能优于残差网络（Residual Networks）的拓扑结构，揭示了短源-汇距离和最优图密度等关键结构原则。

ABSTRACT

Due to the nonlinearity of artificial neural networks, designing topologies for deep convolutional neural networks (CNN) is a challenging task and often only heuristic approach, such as trial and error, can be applied. An evolutionary algorithm can solve optimization problems where the fitness landscape is unknown. However, evolutionary algorithms are computing resource intensive, which makes it difficult for problems when deep CNNs are involved. In this paper, we propose an evolutionary strategy to find better topologies for deep CNNs. Incorporating the concept of knowledge inheritance and knowledge learning, our evolutionary algorithm can be executed with limited computing resources. We applied the proposed algorithm in finding effective topologies of deep CNNs for the image classification task using CIFAR-10 dataset. After the evolution, we analyzed the topologies that performed well for this task. Our studies verify the techniques that have been commonly used in human designed deep CNNs. We also discovered that some of the graph properties greatly affect the system performance. We applied the guidelines learned from the evolution and designed new network topologies that outperform Residual Net with less layers on CIFAR-10, CIFAR-100, and SVHN dataset.

研究动机与目标

• 为解决设计最优深度CNN拓扑结构的挑战，该挑战因缺乏理论工具和高度非线性而难以应对。
• 通过引入知识继承与知识学习，降低进化深度CNN的计算负担，以加速训练。
• 识别与高性能深度CNN相关的结构模式与图属性。
• 从进化得到的拓扑结构中提炼设计准则，并在标准基准上进行验证。
• 证明进化得到的拓扑结构可在使用更少层数的情况下超越残差网络的准确率。

提出的方法

• 采用无性进化策略，从五种预定义突变中选择一种作用于父代网络，生成子代网络。
• 基于玻尔兹曼分布的随机排名比例选择法，用于选择下一代个体。
• 知识继承使每个新个体能够继承其父代的训练超参数与初始权重，从而减少训练时间。
• 知识学习在进化过程中动态调整训练超参数（如初始学习率），依据性能反馈进行调整。
• 每轮仅训练一个周期以节约资源，同时使用早停机制限制计算量。
• 网络以有向图形式表示，对拓扑结构进行图属性分析，如最短路径、密度与连通性。

实验结果

研究问题

• RQ1 哪些深度CNN拓扑的结构属性与高分类准确率相关性最强？
• RQ2 进化算法能否在层数更少的情况下发现性能优于人工设计模型的CNN架构？
• RQ3 图论属性（如最短路径与连通性）如何影响深度CNN的性能？
• RQ4 知识继承与学习在多大程度上可降低进化深度CNN的计算成本？
• RQ5 从进化拓扑结构中学到的原则能否推广用于设计新型、更高效的网络？

主要发现

• 进化得到的拓扑结构EVO-91b在CIFAR-10上的测试误差率为5.19%，优于ResNet-110（6.43%），且层数更少。
• 从源节点到汇节点的最短路径越短，网络性能越优，EVO-91b实现了最低的误差率。
• 最优图密度与强连通性被证实对性能至关重要，EVO-44b与EVO-91b虽深度不同，但均表现出高性能。
• 研究证实，如跳跃连接与残差学习等常用技术在进化过程中具有优势，验证了其有效性。
• 基于进化拓扑结构提炼的设计准则，使新网络在CIFAR-10、CIFAR-100与SVHN上均超越了残差网络，且网络深度更低。
• DenseNet-100尽管图密度高，但其最短路径长度为6，与高性能进化网络中观察到的最优路径长度一致。