[論文レビュー] aw_nas: A Modularized and Extensible NAS framework

Xuefei Ning, Changcheng Tang+8 more|arXiv (Cornell University)|Nov 25, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用数 4

ひとこと要約

aw_nas は、明確に定義された、組み合わせ可能なコンポonentを備えたモジュラーで拡張可能かつオープンソースの Python フレームワークであり、神経ネットワーク探索（NAS）をサポートする。このフレームワークは、CPU、GPU、FPGA プラットフォームにおける正確な遅延およびエネルギー予測モデル（例：LSTM を用いたもの）を提供することで、単純な合算と比較して rMSE を最大 9.7 倍まで低減し、ハードウェアに配慮した効率的な NAS を実現する。

ABSTRACT

Neural Architecture Search (NAS) has received extensive attention due to its capability to discover neural network architectures in an automated manner. aw_nas is an open-source Python framework implementing various NAS algorithms in a modularized manner. Currently, aw_nas can be used to reproduce the results of mainstream NAS algorithms of various types. Also, due to the modularized design, one can simply experiment with different NAS algorithms for various applications with awnas (e.g., classification, detection, text modeling, fault tolerance, adversarial robustness, hardware efficiency, and etc.). Codes and documentation are available at https://github.com/walkerning/aw_nas.

研究の動機と目的

• 多様な NAS アルゴリズムおよび応用をサポートする汎用的で拡張可能かつ使いやすい NAS フレームワークを提供すること。
• NAS の高い計算コストを低減するために、探索空間、コントローラ、評価者、重み管理のための効率的でモジュラーなコンポonent指向の設計を可能にすること。
• CPU、GPU、FPGA プラットフォーム全体にわたる正確な遅延およびエネルギー予測モデルを統合することで、ハードウェアに配慮した NAS をサポートすること。
• オープンソースのコードと包括的なドキュメンテーションを提供することで、再現性および実験の容易さを促進すること。
• モジュラーで組み合わせ可能なコンポonentおよび予測子ベースの探索戦略を用いることで、NAS のサンプル効率およびスケーラビリティを向上させること。

提案手法

• フレームワークは、探索空間、コントローラ、評価者、重みマネージャ、トレーナなどのコンポonent間で明確に定義されたインターフェースを持つモジュラーなコンポonentアーキテクチャを採用している。
• 離散的および微分可能なアーキテクチャの両方をサポートする通信の標準化を図るために、'ロールアウト'抽象化（BaseRollout）を導入している。
• 強化学習、進化的探索、微分可能 NAS、予測子ベース手法を含む、複数の NAS パラダイムをサポートしている。
• スーパーネットおよび微分可能スーパーネットを用いたパラメータ共有評価を実装しており、再訓練を伴わずに高速なアーキテクチャ評価を可能にしている。
• CPU、GPU、FPGA プラットフォームにおける遅延およびエネルギーの測定を実行するハードウェアプロファイリングパイプラインを備えており、そのデータをもとにコスト予測モデルを学習している。
• 3 種類のコスト予測モデルを実装している：線形回帰（1 変数および 2 変数バージョン）、多層パーセプトロン（MLP）、ブロック特徴を逐次処理する LSTM を用いたモデル。

実験結果

リサーチクエスチョン

• RQ1 多様な応用および NAS アルゴリズムにわたって、モジュラーで拡張可能かつ再利用可能な NAS フレームワークをどのように設計できるか？
• RQ2 異種のハードウェアプラットフォームにおけるニューラルネットワークの遅延およびエネルギー推定精度に、異なるコスト予測モデルが及ぼす影響は何か？
• RQ3 予測子ベースの NAS 法的手法をモジュラーなフレームワークに効果的に統合することで、サンプル効率を向上させることができるか？
• RQ4 メモリ構造や並列処理特性が複雑なプラットフォームにおいて、ハードウェアコスト予測モデルの性能は、プリミティブコストの単純な合算と比較してどの程度優れているか？
• RQ5 このフレームワークは、リソース制限環境における実世界の展開を想定したハードウェアに配慮した NAS をどの程度サポートできるか？

主な発見

• LSTM を用いたコスト予測モデルは、GPU 遅延推定において rMSE 0.174～0.187 を達成し、単純な合算（rMSE = 0.63）と比較して 3.6 倍の改善を示した。
• FPGA エネルギー推定において、予測モデルは rMSE を 4.94（単純加算時）から 0.51 まで低減し、9.7 倍の改善を達成した。
• フレームワークのモジュラー設計により、強化学習、進化的探索、微分可能、予測子ベースの手法を含む多様な NAS アルゴリズムのシームレスな統合が可能になった。
• CPU、GPU、FPGA プラットフォームにおけるハードウェアプロファイリングが自動化に成功し、プリミティブブロックの測定遅延およびエネルギーに基づいたコスト予測モデルが学習された。
• フレームワークは、画像分類、物体検出、自然言語処理、耐障害性、敵対的耐性、ハードウェア効率性を含む幅広い応用をサポートしている。
• Intel Xeon、RTX-2080Ti、Xilinx ZCU102 などのハードウェア資産およびコスト予測モデルのオープンソースリリースにより、再現可能でスケーラブルなハードウェアに配慮した NAS が実現された。