[论文解读] A Multi-objective Evolutionary Algorithm Based on Bi-population with Uniform Sampling for Neural Architecture Search

Yu Xue, Pengcheng Jiang+5 more|arXiv (Cornell University)|Feb 9, 2026

Advanced Multi-Objective Optimization Algorithms被引用 0

一句话总结

MOEA-BUS 是一种使用双群体和均匀采样来优化准确率与网络复杂度（MAdds）的多目标进化 NAS 方法，在 CIFAR-10 和 ImageNet 上取得了强劲结果。

ABSTRACT

Neural architecture search (NAS) automates neural network design, improving efficiency over manual approaches. However, efficiently discovering high-performance neural network architectures that simultaneously optimize multiple objectives remains a significant challenge in NAS. Existing methods often suffer from limited population diversity and inadequate exploration of the search space, particularly in regions with extreme complexity values. To address these challenges, we propose MOEA-BUS, an innovative multi-objective evolutionary algorithm based on bi-population with uniform sampling for neural architecture search, aimed at simultaneously optimizing both accuracy and network complexity. In MOEA-BUS, a novel uniform sampling method is proposed to initialize the population, ensuring that architectures are distributed uniformly across the objective space. Furthermore, to enhance exploration, we deploy a bi-population framework where two populations evolve synergistically, facilitating comprehensive search space coverage. Experiments on CIFAR-10 and ImageNet demonstrate MOEA-BUS's superiority, achieving top-1 accuracies of 98.39% on CIFAR-10, and 80.03% on ImageNet. Notably, it achieves 78.28% accuracy on ImageNet with only 446M MAdds. Ablation studies confirm that both uniform sampling and bi-population mechanisms enhance population diversity and performance. Additionally, in terms of the Kendall's tau coefficient, the SVM achieves an improvement of at least 0.035 compared to the other three commonly used machine learning models, and uniform sampling provided an enhancement of approximately 0.07.

研究动机与目标

• 促使多目标神经架构搜索（NAS）在准确率与网络复杂度（MAdds）之间实现平衡。
• 开发保留多样性并探索极端复杂度区域的群体初始化与搜索策略。
• 利用具备均匀采样的双群体进化框架与代理辅助评估以提高效率。
• 通过对 CIFAR-10、CIFAR-100 和 ImageNet 的消融研究，验证各组成部分的有效性。

提出的方法

• 提出 MOEA-BUS，一种用于 NAS 的双群体 MOEA。
• 提出一种在 MAdds 目标空间中均匀初始化架构的均匀采样方法。
• 使用两个协同进化的群体（一个用于极端架构，一个用于中等规模），并进行跨群体交换。
• 应用一个代理模型（SVM）来预测架构强度并引导子搜索，从而减少评估次数。
• 从预训练超网（Once-For-All）继承权重以加速真实评估（权重继承）。
• 在 CIFAR-10/ CIFAR-100/ ImageNet 上评估架构，并与最先进的 NAS 方法进行对比。

实验结果

研究问题

• RQ1 在 MAdds 目标空间中进行均匀采样是否能提高 NAS 初始种群的多样性？
• RQ2 双群体进化框架是否能提升搜索多样性并避免 MOEA 的早熟收敛？
• RQ3 代理模型与权重继承是否能在不牺牲准确率的前提下显著降低 NAS 搜索成本？
• RQ4 相比现有 NAS 方法，MOEA-BUS 在标准视觉基准（CIFAR-10/CIFAR-100/ImageNet）上的表现如何？

主要发现

架构	准确率（%）	MAdds（M）	参数量（M）	搜索成本（GPU 天）	搜索方法/年份
MobileNetV2	95.74	300	2.2	-	手工（2018）
EfficientNet-B0	98.1	387	4.0	-	手工（2019）
NASNet-A	97.35	608	-	1800	RL（2018）
BNAS	97.03	-	4.7	0.19	RL（2021）
DBNAS-B	97.33	-	3.1	-	RL（2025）
PC-DARTS	97.43	558	3.6	0.1	GD（2019）
P-DARTS	97.5	532	3.4	0.3	GD（2019）
FairDARTS	97.46	373	2.8	0.25	GD（2020）
NoisyDARTS	97.63	534	3.3	0.4	GD（2021）
EoiNAS	97.50	-	3.4	0.6	GD（2022）
iDARTS	97.47	-	3.6	-	GD（2023）
SWD-NAS	97.49	519	3.17	0.13	GD（2024）
PA-DARTS	97.59	578	3.75	0.36	GD（2024）
GENAS	97.55	-	3.53	0.26	GD（2024）
DBNAS-A	97.58	-	2.4	-	GD（2025）
DBNAS-C	97.50	-	2.9	-	GD（2025）
FX-DARTS	95.96±0.01	195	1.26	0.11	GD（2025）
AmoebaNet-B	97.5	555	-	3150	EA（2019）
NSGA-Net	97.25	535	3.3	4	EA（2019）
CARS	97.43	728	3.6	0.4	EA（2020）
FairNAS-A	98.2	391	-	12	EA（2021）
FairNAS-B	98.1	348	-	12	EA（2021）
FairNAS-C	98.0	324	-	12	EA（2021）
MPAE-A	97.35	-	2.8	0.3	EA（2024）
MPAE-B	97.39	-	3.2	0.3	EA（2024）
MPAE-C	97.51	-	3.7	0.3	EA（2024）
MPE-NAS	96.53	-	6.4	-	EA（2024）

• 在他们的结果中，CIFAR-10 的第一类准确率达到 98.39%，ImageNet 达到 80.03%。
• 以仅 4.46 亿 MAdds 实现 ImageNet 的 78.28% 准确率。
• 消融研究表明，均匀采样与双群体机制均能提升种群多样性与性能。
• SVM 代理建模提高搜索效率；与其他模型相比，均匀采样在 Kendall 的 tau 上约提升 0.07。
• 来自预训练超网（Once-For-All）的权重继承在搜索过程显著降低评估时间。