[论文解读] ImmuNeCS: Neural Committee Search by an Artificial Immune System

Luc Frachon, Wei Pang+1 more|arXiv (Cornell University)|Nov 18, 2019

Artificial Immune Systems Applications参考文献 54被引用 7

一句话总结

ImmuNeCS 提出了一种新颖的神经委员会搜索方法，利用人工免疫系统演化出多样化的神经网络群体，并通过集成这些网络来提升性能。通过聚焦于群体多样性与早期停止，该方法在 CIFAR-10 和 Fashion-MNIST 上实现了具有竞争力的准确率，同时相比随机搜索显著降低了搜索成本，并在更复杂任务上展现出强大的可迁移性。

ABSTRACT

Current Neural Architecture Search techniques can suffer from a few shortcomings, including high computational cost, excessive bias from the search space, conceptual complexity or uncertain empirical benefits over random search. In this paper, we present ImmuNeCS, an attempt at addressing these issues with a method that offers a simple, flexible, and efficient way of building deep learning models automatically, and we demonstrate its effectiveness in the context of convolutional neural networks. Instead of searching for the 1-best architecture for a given task, we focus on building a population of neural networks that are then ensembled into a neural network committee, an approach we dub 'Neural Committee Search'. To ensure sufficient performance from the committee, our search algorithm is based on an artificial immune system that balances individual performance with population diversity. This allows us to stop the search when accuracy starts to plateau, and to bridge the performance gap through ensembling. In order to justify our method, we first verify that the chosen search space exhibits the locality property. To further improve efficiency, we also combine partial evaluation, weight inheritance, and progressive search. First, experiments are run to verify the validity of these techniques. Then, preliminary experimental results on two popular computer vision benchmarks show that our method consistently outperforms random search and yields promising results within reasonable GPU budgets. An additional experiment also shows that ImmuNeCS's solutions transfer effectively to a more difficult task, where they achieve results comparable to a direct search on the new task. We believe these findings can open the way for new, accessible alternatives to traditional NAS.

研究动机与目标

• 为解决现有神经架构搜索（NAS）方法存在的高计算成本、偏差和复杂性问题。
• 通过集成多样化的神经网络群体而非寻找单一最优架构来提升模型性能。
• 开发一种简单、灵活且高效的 NAS 方法，使其对非专家用户也易于使用。
• 通过实证方法验证 NAS 中常见的假设——局部性、部分评估与完整评估的相关性，以及渐进式增长。
• 评估所学习架构在更复杂任务上的可迁移性。

提出的方法

• ImmuNeCS 采用人工免疫系统（AIS）在神经架构搜索过程中平衡单个模型性能与群体多样性。
• 搜索过程维护一个神经网络群体，选择机制同时基于适应度（准确率）和多样性（受免疫系统启发的机制以避免冗余）。
• 通过部分评估、权重继承和渐进式搜索提升效率并降低训练成本。
• 最终模型为最终群体中表现最佳且具有多样性的网络组成的集成（委员会），从而超越单个模型的性能。
• 当准确率趋于平稳时提前终止搜索，利用集成来恢复性能增益。
• 该方法应用于基于单元的搜索空间，并通过消融研究验证了关键假设。

实验结果

研究问题

• RQ1 人工免疫系统能否在神经架构搜索中有效平衡性能与多样性？
• RQ2 结合早期停止与集成的策略是否在效率和准确率方面优于传统 NAS？
• RQ3 NAS 中常见的假设——局部性、部分评估与完整评估的相关性，以及渐进式增长——在实践中是否成立？
• RQ4 在简单任务上发现的模型委员会能否有效泛化到更复杂、分布发生偏移的任务？
• RQ5 与随机搜索和遗传算法相比，ImmuNeCS 在准确率和多样性方面表现如何？

主要发现

• 在 CIFAR-10 上，ImmuNeCS 使用 12 个模型的委员会实现了 94.41% 的测试准确率，显著优于随机搜索（p=0.039），且通过集成获得了 0.8% 的准确率增益。
• 在 Fashion-MNIST 上，ImmuNeCS 在将 MNIST 上训练的模型迁移后实现了 92.8% 的测试准确率，表明其在不同数据分布下仍具备强大的可迁移性。
• 在 CINIC-10 上，通过微调 CIFAR-10 的群体，ImmuNeCS 达到了 88.72% 的准确率，优于 VGG-16 并接近 ResNet-18 的性能。
• ImmuNeCS 超越了遗传算法基线，由于群体具有更好的多样性，其集成增益更高（0.8%pt vs. 0.6%pt）。
• 该研究证实了三个关键 NAS 假设的有效性：局部性、部分评估与完整评估的相关性，以及渐进式增长，支持了该方法的设计选择。
• 最终的委员会模型在合理的 GPU 预算内实现了具有竞争力的性能，验证了 ImmuNeCS 作为传统 NAS 实用且易用的替代方案。