[論文レビュー] Bag of Baselines for Multi-objective Joint Neural Architecture Search and Hyperparameter Optimization
本稿では、複数の目的（例：精度、レイテンシ、メモリ）を同時に最適化する、ニューラルアーキテクチャ探索（NAS）とハイパーパramータ最適化（HPO）を統合した複数のマルチオブジェクティブなベースラインを提案する。既存の手法（例：遺伝的アルゴリズム、ベイズ最適化、マルチファシリティ戦略）を拡張し、アーキテクチャとハイパーパrameterを同時に最適化する。主な貢献は、包括的でオープンソースのベースラインセットであり、共同最適化の利点を実証的に示しており、Flowers や Fashion-MNIST といったデータセットにおいて、パレートフロントの品質が向上していることが確認された。
Neural architecture search (NAS) and hyperparameter optimization (HPO) make deep learning accessible to non-experts by automatically finding the architecture of the deep neural network to use and tuning the hyperparameters of the used training pipeline. While both NAS and HPO have been studied extensively in recent years, NAS methods typically assume fixed hyperparameters and vice versa - there exists little work on joint NAS + HPO. Furthermore, NAS has recently often been framed as a multi-objective optimization problem, in order to take, e.g., resource requirements into account. In this paper, we propose a set of methods that extend current approaches to jointly optimize neural architectures and hyperparameters with respect to multiple objectives. We hope that these methods will serve as simple baselines for future research on multi-objective joint NAS + HPO. To facilitate this, all our code is available at https://github.com/automl/multi-obj-baselines.
研究の動機と目的
- 複数の目的の下でのニューラルアーキテクチャとハイパーパrameterの共同最適化におけるギャップを埋める。
- 既存のNASおよびHPO手法を拡張し、古典的ハイパーパrameterとアーキテクチャハイパーパramータを同時に処理できるようにする。
- 今後のマルチオブジェクティブNAS+HPO分野における研究の基盤となる、シンプルで効果的かつ再現可能なベースラインを提供する。
- 共同最適化の利点を、独立したNASまたはHPOアプローチと比較して実証的に検証する。
- オープンソースコードを活用して、マルチオブジェクティブNAS+HPOの実用的導入を可能にする。
提案手法
- 成功するハーフィング（successive halving）を組み込んだ、マルチオブジェクティブな遺伝的アルゴリズム（SH-EMOA）を提案する。
- 階層的カーネル密度推定（hierarchical KDEs）とMOTPE（Multi-Output TPE）を用いた、BOHBのマルチオブジェクティブ拡張（MO-BOHB）を導入する。
- 安価な目的関数に対してスラグモデルを避けることで、マルチオブジェクティブな期待ハイパーボリューム改善（MS-EHVI）を実現する。
- マルチオブジェクティブな候補選択と成功するハーフィングを組み合わせた、BANANASに基づくMO-BANANASを提案する。
- ネットワークモーフィズム、プルーニング、知識蒸留を組み合わせた、遺伝的アルゴリズムとベイズ最適化を統合したBULK & CUTを提示する。
- 離散的アーキテクチャ選択と連続的ハイパーパramータを、複数の目的関数にわたって統合可能なフレームワークを採用する。
実験結果
リサーチクエスチョン
- RQ1ニューラルアーキテクチャとハイパーパラメータの共同最適化は、独立したNASまたはHPOと比較して、より優れたパレートフロントを達成できるか？
- RQ2遺伝的アルゴリズム、ベイズ最適化、マルチファシリティ戦略といった、異なるマルチオブジェクティブ最適化戦略は、共同NAS+HPOにおいてどのように性能を発揮するか？
- RQ3スラグモデルと獲得関数は、マルチオブジェクティブNAS+HPOにどのような影響を与えるか？
- RQ4アーキテクチャとハイパーパラメータの相互作用は、最適化の性能にどのように影響するか？
- RQ5早期停止やプルーニング技術は、共同NAS+HPOにおける効率性を向上させることができるか？
主な発見
- 提案されたベースラインは、FlowersおよびFashion-MNISTの両データセットにおいて、ベースライン手法と比較して優れたパレートフロント品質を達成した。
- SH-EMOAとMO-BOHBは、複数のランダムシードにおいて一貫したパレートフロントを示し、安定した収束性を示した。
- MS-EHVIは、時間経過に伴うハイパーボリューム改善において、標準的なEHVIを上回る性能を示し、マルチオブジェクティブ獲得関数の利点を実証した。
- MO-BOHBは、マルチファシリティ最適化とマルチオブジェクティブベイズ最適化を統合することで、高いサンプル効率を達成した。
- BULK & CUTは、知識蒸留とネットワークモーフィズムを活用することで、探索効率とモデル品質の両方を向上させた。
- オープンソースのコードベースは再現性を確保し、今後のマルチオブジェクティブNAS+HPO分野における研究基盤として機能する。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。