[論文レビュー] Accuracy vs. Efficiency: Achieving Both through FPGA-Implementation Aware Neural Architecture Search

Weiwen Jiang, Xinyi Zhang+5 more|arXiv (Cornell University)|Jan 31, 2019

Advanced Neural Network Applications参考文献 14被引用数 7

ひとこと要約

本稿では、精度と遅延を同時に最適化するハードウェアに配慮したFPGA向け神経ネットワークアーキテクチャ探索フレームワークFNASを提案する。タイルベースの抽象化モデルと新規のマルチFPGAスケジューリングパラダイムを用いることで、高速な遅延推定と非適合アーキテクチャの早期 pruning が可能となり、最先端のNAS手法と比較して1%未満の精度損失で、最大11.13倍の高速化を達成した。

ABSTRACT

A fundamental question lies in almost every application of deep neural networks: what is the optimal neural architecture given a specific dataset? Recently, several Neural Architecture Search (NAS) frameworks have been developed that use reinforcement learning and evolutionary algorithm to search for the solution. However, most of them take a long time to find the optimal architecture due to the huge search space and the lengthy training process needed to evaluate each candidate. In addition, most of them aim at accuracy only and do not take into consideration the hardware that will be used to implement the architecture. This will potentially lead to excessive latencies beyond specifications, rendering the resulting architectures useless. To address both issues, in this paper we use Field Programmable Gate Arrays (FPGAs) as a vehicle to present a novel hardware-aware NAS framework, namely FNAS, which will provide an optimal neural architecture with latency guaranteed to meet the specification. In addition, with a performance abstraction model to analyze the latency of neural architectures without training, our framework can quickly prune architectures that do not satisfy the specification, leading to higher efficiency. Experimental results on common data set such as ImageNet show that in the cases where the state-of-the-art generates architectures with latencies 7.81x longer than the specification, those from FNAS can meet the specs with less than 1% accuracy loss. Moreover, FNAS also achieves up to 11.13x speedup for the search process. To the best of the authors' knowledge, this is the very first hardware aware NAS.

研究の動機と目的

• 既存のニューラルアーキテクチャ探索(NAS)フレームワークにおける非効率さとハードウェアへの配慮の欠如を解消すること。
• 精度を損なわず、特定のFPGA遅延制約を満たすDNNアーキテクチャをNASが生成できること。
• タイミング仕様に違反するアーキテクチャをプロセスの初期段階で効果的に除外することで、探索時間を短縮すること。
• 不規則で複雑なDNNアーキテクチャをマルチFPGAシステム上で正確かつスケーラブルに遅延推定できるモデルを開発すること。
• 複数のFPGAにまたがる並列処理を最大限に活用し、パフォーマンスを向上させる新規スケジューリングパラダイムを導入すること。

提案手法

• FPGAマッピングを抽象化するためのタイルベースのグラフモデルを提案し、タスクの粒度、依存関係、データアクセスパターンを捉える。
• 完全な学習を必要とせず遅延を推定する性能抽象化モデルを導入し、非適合アーキテクチャの早期除外を可能にする。
• 動的スケジューリングによりFPGA間でタスクを最適に配分し、並列処理を最大化するとともにパイプラインスタールを低減する新規マルチFPGAスケジューリングパラダイムを提案。
• 抽象化モデルはタスクグラフに追加のエッジを導入することで、複雑な層間依存関係を捉え、正確な遅延予測を可能にする。
• ハードウェアに配慮した制約を探索プロセスに直接統合し、実行可能でないアーキテクチャが評価されないことを保証する。
• 実行遅延とパイプラインスタールの理論的分析を用いて、抽象化モデルにおける遅延推定を支援する。

実験結果

リサーチクエスチョン

• RQ1 FPGA上で精度とハードウェア遅延を同時に最適化できるNASフレームワークを設計できるか？
• RQ2 完全なトレーニングやハードウェア合成を経ずに、不規則なDNNアーキテクチャの遅延を正確に推定できるか？
• RQ3 複数のFPGAを効率的に活用し、パイプラインスタールと実行時間を最小限に抑えるスケジューリング戦略は何か？
• RQ4 ハードウェアに配慮したプルーニングにより、探索時間をどれほど短縮できるか？
• RQ5 ハードウェアに配慮したNASフレームワークは、精度の著しい低下を伴わず、厳密なタイミング制約を満たすアーキテクチャを生成できるか？

主な発見

• FNASは、最先端のNASと比較して、最大11.13倍の探索時間短縮を達成した。特にCIFAR-10で最大の高速化が観察された。
• タイミング仕様に違反するアーキテクチャの場合、NASはターゲット遅延の7.81倍の遅延を持つが、FNASは1%未満の精度損失で適合アーキテクチャを生成した。
• ImageNetでは、タイトなタイミング制約下でもFNASは1%未満の精度損失に抑えられ、優れた精度-効率トレードオフを示した。
• 提案されたスケジューラは、固定スケジューリングと比較して、複数のFPGAアクセラレータにおけるクロックサイクル数を削減し、ハードウェア利用効率の向上を実証した。
• タイミング制約が厳しくなると、FNASの探索時間は有効な早期プルーニングにより短縮される。
• 抽象化モデルにより、完全なトレーニングを経ずに正確な遅延推定が可能となり、初期段階でのプルーニングが実現可能かつ効率的になった。