[論文レビュー] A Multi-objective Evolutionary Algorithm Based on Bi-population with Uniform Sampling for Neural Architecture Search
MOEA-BUS は bi-population と uniform sampling を用いる多目的 NAS 手法で、精度とネットワークの複雑さ（MAdds）を最適化。CIFAR-10 と ImageNet で高い結果を達成します。
Neural architecture search (NAS) automates neural network design, improving efficiency over manual approaches. However, efficiently discovering high-performance neural network architectures that simultaneously optimize multiple objectives remains a significant challenge in NAS. Existing methods often suffer from limited population diversity and inadequate exploration of the search space, particularly in regions with extreme complexity values. To address these challenges, we propose MOEA-BUS, an innovative multi-objective evolutionary algorithm based on bi-population with uniform sampling for neural architecture search, aimed at simultaneously optimizing both accuracy and network complexity. In MOEA-BUS, a novel uniform sampling method is proposed to initialize the population, ensuring that architectures are distributed uniformly across the objective space. Furthermore, to enhance exploration, we deploy a bi-population framework where two populations evolve synergistically, facilitating comprehensive search space coverage. Experiments on CIFAR-10 and ImageNet demonstrate MOEA-BUS's superiority, achieving top-1 accuracies of 98.39% on CIFAR-10, and 80.03% on ImageNet. Notably, it achieves 78.28% accuracy on ImageNet with only 446M MAdds. Ablation studies confirm that both uniform sampling and bi-population mechanisms enhance population diversity and performance. Additionally, in terms of the Kendall's tau coefficient, the SVM achieves an improvement of at least 0.035 compared to the other three commonly used machine learning models, and uniform sampling provided an enhancement of approximately 0.07.
研究の動機と目的
- 精度とネットワークの複雑さ（MAdds）をバランスさせる多目的ニューラルアーキテクチャ探索（NAS）を動機づける。
- 多様性を保ち、極端な複雑さ領域を探索する集団初期化と探索戦略を開発する。
- uniform sampling と surrogate-assisted evaluation を組み合わせた bi-population 演化フレームワークを活用して効率を向上させる。
- CIFAR-10、CIFAR-100、ImageNet での有効性を示し、構成要素を検証するアブレーションを実施する。
提案手法
- MOEA-BUS を導入する、NAS のための bi-population MOEA。
- MAdds の目的空間全体にわたって均一にアーキテクチャを初期化する uniform sampling 法を提案する。
- 極端なアーキテクチャ用と中規模アーキテクチャ用の2つの共同進化集団を持ち、集団間交換を行う。
- アーキテクチャの強さを予測しサブ探索を指揮するサロゲートモデル（SVM）を適用し、評価回数を削減する。
- 重みの継承（Once-For-All から）により実評価を迅速化する。
- CIFAR-10/ CIFAR-100/ ImageNet でアーキテクチャを評価し、最先端の NAS 手法と比較する。
実験結果
リサーチクエスチョン
- RQ1MAdds 目的空間での均一サンプリングは NAS の初期集団の多様性を改善するか。
- RQ2 bi-population 演化フレームワークは NAS の MOEA における探索の多様性を高め、早熟収束を回避できるか。
- RQ3サロゲートモデルと重み継承は、精度を損なうことなく NAS 探索コストを大幅に削減できるか。
- RQ4MOEA-BUS は標準的な視覚ベンチマーク（CIFAR-10/ CIFAR-100/ ImageNet）で既存の NAS 手法と比較してどのように機能するか。
主な発見
| Architecture | Accuracy (%) | MAdds (M) | Params (M) | Search Cost (GPU Days) | Search Method/Year |
|---|---|---|---|---|---|
| MobileNetV2 | 95.74 | 300 | 2.2 | - | manual (2018) |
| EfficientNet-B0 | 98.1 | 387 | 4.0 | - | manual (2019) |
| NASNet-A | 97.35 | 608 | - | 1800 | RL (2018) |
| BNAS | 97.03 | - | 4.7 | 0.19 | RL (2021) |
| DBNAS-B | 97.33 | - | 3.1 | - | RL (2025) |
| PC-DARTS | 97.43 | 558 | 3.6 | 0.1 | GD (2019) |
| P-DARTS | 97.5 | 532 | 3.4 | 0.3 | GD (2019) |
| FairDARTS | 97.46 | 373 | 2.8 | 0.25 | GD (2020) |
| NoisyDARTS | 97.63 | 534 | 3.3 | 0.4 | GD (2021) |
| EoiNAS | 97.50 | - | 3.4 | 0.6 | GD (2022) |
| iDARTS | 97.47 | - | 3.6 | - | GD (2023) |
| SWD-NAS | 97.49 | 519 | 3.17 | 0.13 | GD (2024) |
| PA-DARTS | 97.59 | 578 | 3.75 | 0.36 | GD (2024) |
| GENAS | 97.55 | - | 3.53 | 0.26 | GD (2024) |
| DBNAS-A | 97.58 | - | 2.4 | - | GD (2025) |
| DBNAS-C | 97.50 | - | 2.9 | - | GD (2025) |
| FX-DARTS | 95.96±0.01 | 195 | 1.26 | 0.11 | GD (2025) |
| AmoebaNet-B | 97.5 | 555 | - | 3150 | EA (2019) |
| NSGA-Net | 97.25 | 535 | 3.3 | 4 | EA (2019) |
| CARS | 97.43 | 728 | 3.6 | 0.4 | EA (2020) |
| FairNAS-A | 98.2 | 391 | - | 12 | EA (2021) |
| FairNAS-B | 98.1 | 348 | - | 12 | EA (2021) |
| FairNAS-C | 98.0 | 324 | - | 12 | EA (2021) |
| MPAE-A | 97.35 | - | 2.8 | 0.3 | EA (2024) |
| MPAE-B | 97.39 | - | 3.2 | 0.3 | EA (2024) |
| MPAE-C | 97.51 | - | 3.7 | 0.3 | EA (2024) |
| MPE-NAS | 96.53 | - | 6.4 | - | EA (2024) |
- CIFAR-10 のトップ1 精度は 98.39%、ImageNet で 80.03% を達成。
- MAdds が 446M のみで ImageNet の精度が 78.28% を達成。
- アブレーション研究により、均一サンプリングと bi-population 機構の両方が集団の多様性と性能を改善することを示した。
- SVM サロゲートモデルは探索効率を向上させ、均一サンプリングは他のモデルと比較して Kendall の τ を約0.07 向上させる。
- 事前学習済みスーパーネット（Once-For-All）からの重み継承は探索中の評価時間を著しく削減する。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。