[論文レビュー] Neural Architecture Search as Multiobjective Optimization Benchmarks: Problem Formulation and Performance Assessment
本稿では、ニューラルアーキテクチャサーチ（NAS）における進化的多目的最適化（EMO）のための標準化されたベンチマークテスト問題を生成する、GPU不要のエンドツーエンドパイプライン「EvoXBench」を紹介する。NASを一般化された多目的最適化問題として定式化することで、さまざまなデータセット、探索空間、ハードウェアプラットフォームにおいてEMOアルゴリズムの効率的な評価が可能となり、最大8つの目的を用いた6つのアルゴリズムを用いた実験的検証が行われた。
The ongoing advancements in network architecture design have led to remarkable achievements in deep learning across various challenging computer vision tasks. Meanwhile, the development of neural architecture search (NAS) has provided promising approaches to automating the design of network architectures for lower prediction error. Recently, the emerging application scenarios of deep learning have raised higher demands for network architectures considering multiple design criteria: number of parameters/floating-point operations, and inference latency, among others. From an optimization point of view, the NAS tasks involving multiple design criteria are intrinsically multiobjective optimization problems; hence, it is reasonable to adopt evolutionary multiobjective optimization (EMO) algorithms for tackling them. Nonetheless, there is still a clear gap confining the related research along this pathway: on the one hand, there is a lack of a general problem formulation of NAS tasks from an optimization point of view; on the other hand, there are challenges in conducting benchmark assessments of EMO algorithms on NAS tasks. To bridge the gap: (i) we formulate NAS tasks into general multi-objective optimization problems and analyze the complex characteristics from an optimization point of view; (ii) we present an end-to-end pipeline, dubbed $ exttt{EvoXBench}$, to generate benchmark test problems for EMO algorithms to run efficiently -- without the requirement of GPUs or Pytorch/Tensorflow; (iii) we instantiate two test suites comprehensively covering two datasets, seven search spaces, and three hardware devices, involving up to eight objectives. Based on the above, we validate the proposed test suites using six representative EMO algorithms and provide some empirical analyses. The code of $ exttt{EvoXBench}$ is available from $\href{https://github.com/EMI-Group/EvoXBench}{ m{here}}$.
研究の動機と目的
- 最適化の観点から、NASに対する一般化された多目的最適化定式化の欠如に取り組む。
- 不一致な探索空間、評価手順、計算要件により、NASタスクにおけるEMOアルゴリズムの比較が困難であるという課題を克服する。
- ディープラーニングフレームワークやGPUに依存しない、スケーラブルで効率的なベンチマークパイプラインを開発する。
- 包括的なテストスイートを提供し、複数のデータセット、探索空間、ハードウェアプラットフォームをカバーして、EMOアルゴリズムの厳密な評価を可能にする。
- 予測誤差、モデルの複雑さ、ハードウェア効率（例：遅延、エネルギー）のトレードオフにおけるEMO性能の実験的分析を可能にする。
提案手法
- 予測誤差、モデルの複雑さ（パラメータ数、FLOPs）、ハードウェア効率（遅延、エネルギー）を含む目的を持つ、一般化された多目的最適化問題（MOP）としてNASを定式化する。
- PyTorch や TensorFlow、GPU アクセスを必要としないエンドツーエンドパイプラインとしてEvoXBenchを設計する。
- CIFAR-10 や ImageNet などの複数のデータセット、MobileNet や ResNet、Transformer などの探索空間、GPU や Eyeriss などのハードウェアデバイスをサポートするモジュラーなフレームワークを実装する。
- 1つのテストインスタンスに最大8つの目的を定義し、モデルレベル（例：精度、FLOPs）およびハードウェアレベル（例：推論遅延、エネルギー）のメトリクスを含める。
- NSGA-II などのEMOアルゴリズムをパイプラインに統合し、ハイパーボリューム（HV）や収束解析などのメトリクスを用いて性能評価を行う。
- トレードオフサブセットにわたるパレート最適アーキテクチャの可視化により、異なる目的下でのアーキテクチャパターンや演算子の好みの分析を行う。
実験結果
リサーチクエスチョン
- RQ1NASを、明確に定義された目的と制約を有する一般化された多目的最適化問題として体系的に定式化するにはどうすればよいか？
- RQ2EMOアルゴリズムは、NASにおいて予測誤差、モデルの複雑さ、ハードウェア効率のトレードオフをどの程度効果的に探索できるか？
- RQ3パレートフロントの異なる目的のトレードオフ領域において、アーキテクチャ的選択（例：畳み込みタイプ、プーリング操作）はどのように変化するか？
- RQ4異なる探索空間およびハードウェアプラットフォームにおいて、パレート最適アーキテクチャに共通する設計パターンは何か？
- RQ5GPU不要でフレームワークに依存しないベンチマークパイプラインであるEvoXBenchは、NASにおけるEMOアルゴリズムの公平かつ効率的な評価を可能にするか？
主な発見
- $3\times3$ 畳み込みは、すべてのトレードオフ状況において一貫して好まれており、予測誤差に対する強い正の影響を示している。
- $3\times3$ 平均プーリング操作は、パレート最適アーキテクチャでほとんど使用されていないため、予測性能に悪影響を及ぼしている可能性がある。
- 1×1 畳み込みを体系的に削除することで、精度-複雑さから精度-遅延へのトレードオフへの移行が可能になる。
- Eyeriss上では、推論遅延とエネルギー消費量が強く相関しており、高速なモデルは一般的にエネルギー効率が良い傾向にある。
- エネルギー効率と算術強度の間にトレードオフが存在し、多目的最適化のランドスケープにおいて非平行でクロスするような目的の関係が示された。
- EvoXBenchは、GPUやディープラーニングフレームワークに依存しない効率的で再現可能かつ公平なEMOアルゴリズムの評価を可能にし、NASベンチマークにおけるその有効性を検証した。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。