[論文レビュー] A Survey on Computationally Efficient Neural Architecture Search

Shiqing Liu, Haoyu Zhang+1 more|arXiv (Cornell University)|Jun 3, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本サーベイは、計算コストを削減するための計算的に効率的なニューラルアーキテクチャサーチ（CE-NAS）手法について包括的な分析を提供し、訓練コストを低減するためのプロキシベース型とサーヴィエイント支援型のアプローチに分類している。設計原理、性能、計算複雑性について体系的に比較し、効率的でプライバシーを配慮した、グリーンAIに配慮したNASにおける主な課題と今後の方向性を特定している。

ABSTRACT

Neural architecture search (NAS) has become increasingly popular in the deep learning community recently, mainly because it can provide an opportunity to allow interested users without rich expertise to benefit from the success of deep neural networks (DNNs). However, NAS is still laborious and time-consuming because a large number of performance estimations are required during the search process of NAS, and training DNNs is computationally intensive. To solve this major limitation of NAS, improving the computational efficiency is essential in the design of NAS. However, a systematic overview of computationally efficient NAS (CE-NAS) methods still lacks. To fill this gap, we provide a comprehensive survey of the state-of-the-art on CE-NAS by categorizing the existing work into proxy-based and surrogate-assisted NAS methods, together with a thorough discussion of their design principles and a quantitative comparison of their performances and computational complexities. The remaining challenges and open research questions are also discussed, and promising research topics in this emerging field are suggested.

研究の動機と目的

• 従来のニューラルアーキテクチャサーチ（NAS）が候補アーキテクチャをすべて再トレーニングする必要があるという高い計算コストに対処すること。
• 既存の文献におけるギャップを埋めるために、計算的に効率的なNAS（CE-NAS）手法の体系的かつ最新の概要を提供すること。
• 設計原理、性能、計算複雑性に基づいて、プロキシベース型とサーヴィエイント支援型NAS手法を分類・比較すること。
• 特にフェデレーテッドラーニングおよびグリーンAI環境におけるCE-NASの未解決の課題と今後の研究方向性を特定すること。
• 研究者および実務家が実世界の展開に適した効率的なNAS手法の選定と発展を支援すること。

提案手法

• ネットワーク重みが必要かどうかに基づいて、CE-NAS手法をプロキシベース型（例：低精度推定、ワンショットNAS、ネットワークモルフィズム）とサーヴィエイント支援型に分類すること。
• 完全なトレーニングを伴わずに、簡略化されたまたは共有された重みを使用して性能を推定するプロキシベース手法の分析。これにより計算コストが低減される。
• ネットワーク重みに依存しないアーキテクチャ特徴量のみを用いて事前学習された性能予測器（サーヴィエイント）を用いるサーヴィエイント支援型NASのサーベイ。
• ベイジアン最適化、進化的アルゴリズム、マルチオブジェクティブ最適化などの技術を用いてサーヴィエイントモデルを評価し、効率的なアーキテクチャサーチを支援すること。
• プライバシー保護メカニズム（例：微分プライバシー、セキュアアグリゲーション、同型暗号化）をフェデレーテッドNASに統合し、セキュリティを強化すること。
• スケーラブルで間接的な符号化と軽量なサーヴィエイントモデルを活用して、リソース制限のあるエッジデバイスへのNASのデプロイ戦略を提案すること。

実験結果

リサーチクエスチョン

• RQ1 プロキシベース型とサーヴィエイント支援型NAS手法は、計算効率と性能予測精度の観点でどのように異なるか？
• RQ2 一貫性のないデータ、異種のハードウェア、通信コストの高い環境において、フェデレーテッドラーニング環境でのNASの主な課題は何か？
• RQ3 異なる種類のプロキシベースNAS（例：ワンショット、低精度）の設計原理とトレードオフは何か？特に、サーチコストの低減における役割を明らかにすること。
• RQ4 未学習のアーキテクチャの性能を最小限の計算オーバーヘッドで効果的に予測できるように、サーヴィエイントモデルをどのように効率的に訓練・更新できるか？
• RQ5 グリーンAIの原則と効率的なモデル符号化を活用して、エッジデバイスへのNASの持続可能性とデプロイ可能性をどのように高められるか？

主な発見

• 最近のCE-NAS手法により、CIFAR-10におけるサーチ時間は数百GPU日から0.1GPU日未満にまで短縮された。これは顕著な効率性の向上を示している。
• サーヴィエイント支援型NAS手法は、ネットワーク重みを必要とせず、アーキテクチャ特徴量のみを用いて性能予測器を事前学習することで、再トレーニングを回避し、高速な評価を可能にしている。
• ベイジアン最適化と進化的アルゴリズムは、サーヴィエイント支援型NASで広く用いられており、前者はサンプル効率が高く、後者はマルチオブジェクティブ最適化を可能にしている。
• フェデレーテッドNASは未だ十分に研究が進んでいない。主な課題には、非独立同分布（non-IID）データ、異種のハードウェア、クライアント間の通信コストの高さがある。
• 微分プライバシーやセキュアアグリゲーションなどのプライバシー保護技術をフェデレーテッドNASに統合することで、セキュリティを強化しつつ、サーチ効率を損なわずに済ませられる。
• エッジデバイスへのNASのデプロイは、計算リソースの制限のため依然として困難であり、スケーラブルで間接的な符号化戦略と軽量なサーヴィエイントモデルの活用が不可欠である。