[論文レビュー] A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities

Daniel Cummings, Anthony Sarah+4 more|arXiv (Cornell University)|May 19, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文では、進化的アルゴリズムと軽量なパフォーマンス予測モデルを繰り返し組み合わせることで、マルチモダリティ間でマルチオブジェクティブニューラルアーキテクチャサーチ（NAS）を高速化するハードウェアに配慮したNASフレームワーク、LINASを提案する。GPU、CPU、モバイルデバイスの各プラットフォームでハードウェア固有の最適化を維持しつつ、検証のオーバーヘッドを低減することで、特に画像分類およびレコメンデーションタスクにおいて、パレート最適なサブネットワークへの収束が高速化される。

ABSTRACT

Recent advances in Neural Architecture Search (NAS) such as one-shot NAS offer the ability to extract specialized hardware-aware sub-network configurations from a task-specific super-network. While considerable effort has been employed towards improving the first stage, namely, the training of the super-network, the search for derivative high-performing sub-networks is still under-explored. Popular methods decouple the super-network training from the sub-network search and use performance predictors to reduce the computational burden of searching on different hardware platforms. We propose a flexible search framework that automatically and efficiently finds optimal sub-networks that are optimized for different performance metrics and hardware configurations. Specifically, we show how evolutionary algorithms can be paired with lightly trained objective predictors in an iterative cycle to accelerate architecture search in a multi-objective setting for various modalities including machine translation and image classification.

研究の動機と目的

• 異なるハードウェアプラットフォームと複数のパフォーマンス指標を対象とした場合に生じる、ハードウェアに配慮したニューラルアーキテクチャサーチ（NAS）における最適なサブネットワークを探索する際の高い計算コストを軽減すること。
• NAS中に高価なフル検証サイクルに依存するのを減らすために、軽量な予測モデルに基づく探索ループを導入し、アーキテクチャ空間の探索を加速すること。
• 画像分類、機械翻訳、レコメンデーションシステムなどの異なるモダリティ間で、ハードウェアに配慮した効率的なマルチオブジェクティブ最適化を実現すること。
• 進化的アルゴリズムと予測モデルの組み合わせが、ランダムサーチやNSGA-IIといった標準的なNASベースラインを上回ることを示すこと。特に、ハイパーボリュームと収束速度の観点で優れていること。
• さまざまなディープラーニングワークロードとハードウェア構成に対応できるように、柔軟に統合可能な汎用フレームワークを提供すること。

提案手法

• 重み共有を用いた事前学習済みスーパーネットを用いることで、再訓練を伴わずに効率的なサブネットワーク抽出を可能にする。
• 二段階のループを採用：内部で進化的アルゴリズム（EA）が、軽量なパフォーマンス予測モデルからの予測値を用いてアーキテクチャ空間を探索する。
• パフォーマンス予測モデルは、サンプリングされた少数のサブネットワーク上で学習され、新しいアーキテクチャの主な指標（例：精度、レイテンシ）を予測する。
• 進化的アルゴリズム（例：NSGA-II、U-NSGA-III）は、予測されたパフォーマンスに基づいて新しい候補サブネットワークを生成し、フル検証の必要性を低減する。
• 予測モデルの反復的改善と、多目的最適化による集団の進化を経て、パレート最適なサブネットワークのフロントに収束する。
• フレームワークはモジュラー設計であり、さまざまな探索アルゴリズムや予測モデルを交換可能で、GPU、CPU、モバイルデバイスを含む多様なハードウェアプラットフォームへの展開をサポートする。

実験結果

リサーチクエスチョン

• RQ1 軽量な予測モデルに基づく進化的ループは、マルチオブジェクティブNAS設定において、ハードウェア最適化されたサブネットワークの探索を顕著に高速化できるか？
• RQ2 LINASの性能は、ランダムサーチやNSGA-IIといった標準NASベースラインと比較して、異なるモダリティにおけるハイパーボリュームと収束速度の観点でどのように異なるか？
• RQ3 進化的アルゴリズムや予測モデルの選択が、最終的なパレート最適なサブネットワーク集合の品質にどの程度影響を与えるか？
• RQ4 LINASフレームワークは、画像分類、レコメンデーション（NCF）、トランスフォーマー基盤のモデルなど、さまざまなモダリティに一般化可能か？
• RQ5 レイテンシの範囲やプラットフォーム固有の特性に関する事前知識がなくても、LINASは効果的なハードウェアに配慮した最適化を達成できるか？

主な発見

• 特に画像分類タスク（例：MobileNetV3 や ResNet50）において、NSGA-II やランダムサーチと比較して、ハイパーボリュームの高い値への収束が著しく高速化され、同等のパフォーマンスに到達するための評価回数を50%削減した。
• パレートに基づく多目的進化的アルゴリズム（例：NSGA-II、U-NSGA-III）を内部ループに用いることで、単目的手法（例：MOTPE）に比べて優れた性能を発揮し、評価に要するランタイムが著しく短縮された。
• MobileNetV3の探索空間では、内部EAループにおける集団サイズ50が、探索と収束速度の最良のトレードオフを提供した。
• レイテンシの事前知識がなくても、GPU、CPU、モバイルデバイスを含む多様なハードウェアプラットフォームで一貫したパフォーマンスを発揮し、プラットフォーム固有のチューニングを必要としなかった。
• NCF やトランスフォーマーのような極めて制約の厳しい探索空間では、高性能なアーキテクチャの分布が密であるため、恩恵は顕著でないものの、依然としてベースラインを上回る明確な改善を示した。
• フレームワークのモジュラー設計により、さまざまな探索アルゴリズムや予測モデルを柔軟に統合可能であり、最終的なパフォーマンスにほとんど影響を与えないことが確認された。これにより、異なるモダリティやハードウェアターゲットへの一般化可能性が裏付けられた。