[論文レビュー] BRP-NAS: Prediction-based NAS using GCNs

Łukasz Dudziak, Thomas Chau+4 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Memory and Neural Computing被引用数 82

ひとこと要約

BRP-NASは、二項関係学習と反復的データ選択を用いて、サンプル効率を向上させるGCNベースのレイテンシ予測モデルを提案する。この手法はNAS-Bench-101およびNAS-Bench-201で先行手法を上回り、多様なデバイスにわたる大規模レイテンシベンチマークであるLatBenchを導入する。

ABSTRACT

Neural architecture search (NAS) enables researchers to automatically explore broad design spaces in order to improve efficiency of neural networks. This efficiency is especially important in the case of on-device deployment, where improvements in accuracy should be balanced out with computational demands of a model. In practice, performance metrics of model are computationally expensive to obtain. Previous work uses a proxy (e.g., number of operations) or a layer-wise measurement of neural network layers to estimate end-to-end hardware performance but the imprecise prediction diminishes the quality of NAS. To address this problem, we propose BRP-NAS, an efficient hardware-aware NAS enabled by an accurate performance predictor-based on graph convolutional network (GCN). What is more, we investigate prediction quality on different metrics and show that sample efficiency of the predictor-based NAS can be improved by considering binary relations of models and an iterative data selection strategy. We show that our proposed method outperforms all prior methods on NAS-Bench-101 and NAS-Bench-201, and that our predictor can consistently learn to extract useful features from the DARTS search space, improving upon the second-order baseline. Finally, to raise awareness of the fact that accurate latency estimation is not a trivial task, we release LatBench -- a latency dataset of NAS-Bench-201 models running on a broad range of devices.

研究の動機と目的

• NASにおける既存のレイテンシ予測モデルの精度が低い問題、特にプロキシ法およびレイヤー単位の手法の限界を解決すること。
• 最適なアーキテクチャを特定するために必要なモデルのトレーニング回数を減らすことで、NASにおけるサンプル効率を向上させること。
• 多様なハードウェアプラットフォームに一般化可能な、より信頼性の高いエンドツーエンドのレイテンシ予測モデルを開発すること。
• FLOPSやモデルサイズをプロキシとして使用せずに、正確なパフォーマンス予測を可能にすること。
• 複数のデバイスにわたるLatBenchという大規模なレイテンシ測定データセットを公開することで、NAS研究の再現可能性を促進すること。

提案手法

• 神経ネットワークアーキテクチャを有向グラフとして表現するため、グラフ畳み込みネットワーク（GCN）を用いて構造的依存関係を符号化する。
• 絶対的精度予測の代わりに、正確な精度を推定せずに2つのアーキテクチャを順位付けする二項関係予測モデルを採用する。
• 上位パフォーマンスのモデルを優先してトレーニングデータを選択する反復的データ選択戦略を実装し、トップ-K順位相関を向上させる。
• 異なる探索空間間で性能を向上させるために、トランスファー学習を活用する。
• 探索と活用のバランスを取るために、トップ-K順位付けされたモデルとランダムに選択されたモデルの組み合わせを用いてGCNベースの予測モデルをトレーニングする。
• 多様なハードウェアプラットフォームでモデルパフォーマンスを測定・予測するためのツールEagleと、実デバイス測定から得たレイテンシデータセットであるLatBenchを公開する。

実験結果

リサーチクエスチョン

• RQ1 GCNベースのエンドツーエンドレイテンシ予測モデルは、プロキシ指標やレイヤー単位の推定手法を上回ることができるか？
• RQ2 精度予測における二項関係学習は、絶対的精度回帰と比較して、サンプル効率を向上させることができるか？
• RQ3 上位パフォーマンスのモデルに焦点を当てた反復的データ選択は、予測モデルの一般化性能およびNASのパフォーマンスをどのように向上させるか？
• RQ4 異なるハードウェアプラットフォーム間でレイテンシ推定値にどの程度の差が生じるか、また、1つの予測モデルで十分か？
• RQ5 大規模で実デバイスからの測定に基づくレイテンシベンチマークは、NAS研究の信頼性および再現可能性を向上させることができるか？

主な発見

• GCNベースのレイテンシ予測モデルは、デスクトップCPU、GPU、組み込みGPU、TPU、モバイルDSPを含むすべてのテストデバイスで、プロキシ法およびレイヤー単位の手法を顕著に上回る。
• BRP-NASは、NAS-Bench-101で140回のモデルトレーニングのみでCIFAR-10で94.22%のテスト精度を達成し、先行する予測モデルを用いたNAS手法を上回った。
• 二項関係予測モデルは、予測された精度と真値のトップ-K順位相関を向上させ、NASにおけるサンプル効率を向上させた。
• 公開されたレイテンシベンチマークであるLatBenchは、FLOPS/パラメータ数と実際のレイテンシとの間に低い相関（r < 0.8）を示しており、デバイス固有の予測モデルの必要性を裏付けた。
• 予測モデルは多様なハードウェアで良好に一般化しており、デバイス間のレイテンシ相関は0.548（TPU対モバイルGPU）から0.997（CPU対GPU）の範囲に分布しており、強いデバイス固有のばらつきが確認された。
• 反復的データ選択と二項関係学習により、必要なトレーニング実行回数が削減され、DARTS探索空間においても、最初のイテレーション以降、ランダムサーチを上回る性能向上が見られた。