[論文レビュー] B2EA: An Evolutionary Algorithm Assisted by Two Bayesian Optimization Modules for Neural Architecture Search

Hyunghun Cho, Jungwook Shin+1 more|arXiv (Cornell University)|Feb 7, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

B2EA は、進化的アルゴリズム（EA）と2つのベイズ最適化（BO）のスレーブモデルを組み合わせたマルチトライアルニューラルアーキテクチャサーチ（NAS）アルゴリズムであり、探索の効率性とロバスト性を向上させます。14の多様なベンチマーク、一般およびセルベースの探索空間を含め、3つの難易度レベルのターゲット精度において一貫した優位性を示し、最先端の性能を達成しています。

ABSTRACT

The early pioneering Neural Architecture Search (NAS) works were multi-trial methods applicable to any general search space. The subsequent works took advantage of the early findings and developed weight-sharing methods that assume a structured search space typically with pre-fixed hyperparameters. Despite the amazing computational efficiency of the weight-sharing NAS algorithms, it is becoming apparent that multi-trial NAS algorithms are also needed for identifying very high-performance architectures, especially when exploring a general search space. In this work, we carefully review the latest multi-trial NAS algorithms and identify the key strategies including Evolutionary Algorithm (EA), Bayesian Optimization (BO), diversification, input and output transformations, and lower fidelity estimation. To accommodate the key strategies into a single framework, we develop B2EA that is a surrogate assisted EA with two BO surrogate models and a mutation step in between. To show that B2EA is robust and efficient, we evaluate three performance metrics over 14 benchmarks with general and cell-based search spaces. Comparisons with state-of-the-art multi-trial algorithms reveal that B2EA is robust and efficient over the 14 benchmarks for three difficulty levels of target performance. The B2EA code is publicly available at \url{https://github.com/snu-adsl/BBEA}.

研究の動機と目的

• 重み共有 NAS の限界を克服し、非常に高性能なアーキテクチャを発見するためのマルチトライアル手法を開発すること。
• 従来のマルチトライアル NAS の高い計算コストを低減しつつ、多様な探索空間においてもロバスト性を維持すること。
• 多様化、入力/出力変換、慎重な早期終了といった重要な戦略を統合的フレームワークに統合すること。
• 特に一般または制約のない探索空間において、マルチトライアル NAS がトップクラスのモデルを発見するために依然として不可欠であることを示すこと。
• 一般およびセルベースの探索空間の両方に対応できるスケーラブルで効率的かつロバストな NAS アルゴリズムの開発

提案手法

• 進化的アルゴリズム（EA）と2つのベイズ最適化（BO）スレーブモデル（GP と RF）を組み合わせ、探索をガイドし、サンプル効率を向上させること。
• BOイテレーションの間にミューテーションステップを導入し、集団の多様性を向上させ、早期収束を防ぐこと。
• 入力ワーピングを適用して探索空間を変換し、非定常なパフォーマンスランドスケのモデリングを改善すること。
• 出力変換を用いてパフォーマンス指標を正規化し、とくに極めて困難なターゲットタスクにおいて有益であること。
• 冗長な評価を削減しながらも探索品質を保持するため、慎重な早期終了戦略を実装すること。
• 探索と活用のバランスを取るために、ラウンドロビン方式の獲得関数スキーム（EI, PI, UCB）を採用し、複雑なアンサンブルモデリングを回避すること。

実験結果

リサーチクエスチョン

• RQ1 マルチトライアル NAS アルゴリズムは、一般探索空間において重み共有手法を上回る性能を発揮できるか、特に高性能なアーキテクチャの発見において。
• RQ2 入力ワーピングと出力変換は、多様なベンチマークにおいて BO アシスト NAS のパフォーマンスとロバスト性にどのように影響を与えるか。
• RQ3 異なる2つの BO スレーブモデル（GP と RF）を協調フレームワークで使用した場合、単一モデルアプローチと比較してどのような影響を及ぼすか。
• RQ4 EA-BOハイブリッドフレームワークにミューテーションを統合することで、探索の多様性と収束性はどのように向上するか。
• RQ5 慎重な早期終了戦略は、最終的なパフォーマンスを劣化させることなく、計算コストをどの程度低減できるか。

主な発見

• B2EA は、NAS-Bench201-ImageNet16-120 を含む14のベンチマークで最先端のパフォーマンスを達成し、3つの難易度レベルのターゲット精度において一貫した優位性を示した。
• 最も挑戦的なターゲットである NAS-Bench201-ImageNet16-120 において、B2EA は15 GPU日以内に探索を完了し、既存のマルチトライアルおよびワンショット手法を上回った。
• 入力ワーピングと出力変換は、困難なターゲットにおいてパフォーマンスを向上させたが、簡単なベンチマークでは効果が限定的または逆効果となることがあり、文脈依存の利点であることが示された。
• ミューテーションは特に高難易度のシナリオで顕著に効果的であり、多様性を維持し、早期収束を防ぐのを助けた。
• 二重 BO スレーブ構成（GP と RF）は、多様化と早期終了と組み合わせることで、ロバスト性とサンプル効率を向上させた。
• 慎重な早期終了戦略は、冗長な評価を顕著に削減したが、特に高複雑度の探索空間においても高いパフォーマンスを維持した。