[论文解读] Distribution of the search of evolutionary product unit neural networks for classification

Antonio J. Tallón‐Ballesteros, Pedro Antonio Gutiérrez+1 more|arXiv (Cornell University)|May 15, 2012

Neural Networks and Applications参考文献 22被引用 5

一句话总结

本文提出一种基于产品单元神经网络（PUNNs）的分布式进化计算方法，以加速最优分类模型的搜索。通过利用计算机集群并行化计算密集型的进化算法过程，该方法在训练和网络结构搜索方面实现了显著提速，使得能够设计出比串行处理更复杂、更精确的模型。

ABSTRACT

This paper deals with the distributed processing in the search for an optimum classification model using evolutionary product unit neural networks. For this distributed search we used a cluster of computers. Our objective is to obtain a more efficient design than those net architectures which do not use a distributed process and which thus result in simpler designs. In order to get the best classification models we use evolutionary algorithms to train and design neural networks, which require a very time consuming computation. The reasons behind the need for this distribution are various. It is complicated to train this type of nets because of the difficulty entailed in determining their architecture due to the complex error surface. On the other hand, the use of evolutionary algorithms involves running a great number of tests with different seeds and parameters, thus resulting in a high computational cost

研究动机与目标

• 解决使用进化算法训练产品单元神经网络（PUNNs）时计算成本过高的问题。
• 通过将计算负载分布在计算机集群上，提高搜索最优PUNN结构的效率。
• 克服进化训练中复杂误差曲面以及大量参数和随机种子测试带来的挑战。
• 实现比非分布式方法更复杂、更精确的分类模型设计。

提出的方法

• 利用计算机集群分布执行PUNN训练与网络结构搜索的进化算法运行。
• 使用进化算法同时优化网络权重与结构，包括产品单元数量和连接方式。
• 执行多个独立运行，采用不同的随机种子和算法参数，以确保鲁棒性并探索多样化解。
• 采用主从架构，主节点负责在从节点之间协调任务分配与结果聚合。
• 基于分类准确率与泛化性能设计适应度函数，以指导进化过程。
• 采用基于种群的进化策略，结合选择、交叉与变异算子，专门针对PUNN拓扑与权重优化进行定制。

实验结果

研究问题

• RQ1 分布式计算能否显著缩短搜索最优产品单元神经网络配置所需的时间？
• RQ2 在分类准确率与收敛速度方面，分布式进化PUNN训练相较于串行训练的表现如何？
• RQ3 并行运行多个采用不同种子和参数的进化过程，对模型质量与多样性有何影响？
• RQ4 与单机执行相比，使用集群基础设施在多大程度上提升了PUNN设计的可扩展性？

主要发现

• 分布式方法在搜索过程中实现了显著提速，使得能够探索比串行执行更大的解空间。
• 采用不同种子与参数的多个独立运行，产生了更鲁棒、更具泛化能力的分类模型。
• 基于集群的实现使得训练更复杂的PUNN结构成为可能，这些结构在单台机器上合理时间内难以实现。
• 该方法成功克服了PUNNs复杂误差曲面的挑战，所得模型相比基线方法具有更高的分类准确率。