[論文レビュー] A Semi-Decoupled Approach to Fast and Optimal Hardware-Software Co-Design of Neural Accelerators

Bingqian Lu, Zheyu Yan+2 more|arXiv (Cornell University)|Mar 25, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、性能の単調性（latencyおよびエネルギーの単調性）を活用することで、神経アクセラレータ最適化の探索空間を桁違いに縮小する半デカップリング型ハードウェア・ソフトウェア共同設計フレームワークを提案する。このフレームワークは、1つのプロキシアクセラレータ上で最適なアーキテクチャの小さな集合を特定し、その後、その限定された集合でのみアクセラレータを共同最適化することで、計算コストを著しく削減しながらも最適性を維持する。

ABSTRACT

In view of the performance limitations of fully-decoupled designs for neural architectures and accelerators, hardware-software co-design has been emerging to fully reap the benefits of flexible design spaces and optimize neural network performance. Nonetheless, such co-design also enlarges the total search space to practically infinity and presents substantial challenges. While the prior studies have been focusing on improving the search efficiency (e.g., via reinforcement learning), they commonly rely on co-searches over the entire architecture-accelerator design space. In this paper, we propose a \emph{semi}-decoupled approach to reduce the size of the total design space by orders of magnitude, yet without losing optimality. We first perform neural architecture search to obtain a small set of optimal architectures for one accelerator candidate. Importantly, this is also the set of (close-to-)optimal architectures for other accelerator designs based on the property that neural architectures' ranking orders in terms of inference latency and energy consumption on different accelerator designs are highly similar. Then, instead of considering all the possible architectures, we optimize the accelerator design only in combination with this small set of architectures, thus significantly reducing the total search cost. We validate our approach by conducting experiments on various architecture spaces for accelerator designs with different dataflows. Our results highlight that we can obtain the optimal design by only navigating over the reduced search space. The source code of this work is at \url{https://github.com/Ren-Research/CoDesign}.

研究の動機と目的

• 神経アクセラレータのハードウェア・ソフトウェア共同設計における指数関数的に増大する探索空間を解消し、実用的導入を可能にする。
• M および N がそれぞれアーキテクチャ空間およびアクセラレータ空間のサイズを表すとき、O(MN) のスケーリングを示す完全に結合された共同設計手法の非効率性を克服する。
• 探索コストを著しく削減しながらも、完全にデカップリングされたNASおよびアクセラレータ設計による部分最適解を避けることにより、設計の最適性を維持する。
• 性能の単調性のおかげで、1つのプロキシアクセラレータ上で特定された最適アーキテクチャは、多様なアクセラレータ設計間でほぼ同一であることを実証する。
• 1つのプロキシアクセラレータから導出された小規模で高品質なアーキテクチャ集合に制限することで、迅速かつスケーラブルな共同設計を可能にする。

提案手法

• 1つのプロキシアクセラレータ上でハードウェアに配慮したニューラルアーキテクチャ探索（NAS）を適用し、K 個の最適アーキテクチャからなるコンパクトな集合 𝒫 を特定する。
• 複数の探索空間（NAS-Bench-301、AlphaNet、およびレイヤー単位のミックスド・データフロー）において、latencyおよびエネルギー消費量によるアーキテクチャの順位付けが異なるアクセラレータ間で極めて一貫しているという性能の単調性の性質を活用する。
• 第2段階では、集合 𝒫 を固定されたアーキテクチャ候補プールとして使用し、全アーキテクチャ空間ではなく、この縮小された集合でのみアクセラレータを共同最適化する。
• 数千のアクセラレータ構成およびモデルバリアントを対象に、スピアマンの順位相関係数（SRCC）を用いて単調性を検証する。
• 固定およびミックスド・データフロー構成を含む2つのベンチマーク探索空間（NAS-Bench-301 および AlphaNet）で実験を実施する。
• 最終的な共同最適化結果を最先端の完全に結合された共同設計手法と比較し、最適性および効率性の向上を確認する。

実験結果

リサーチクエスチョン

• RQ1 異なるアクセラレータ設計間で、推論遅延およびエネルギー消費量によるニューラルアーキテクチャの順位付けはどの程度一貫しているか？
• RQ2 1つのプロキシアクセラレータ上で最適とされた小規模なアーキテクチャ集合を用いて、全アクセラレータ上で近似的に最適な共同設計結果を得られるか？（全アーキテクチャ空間の再探索なしに。）
• RQ3 提案手法の探索コストおよび最適性は、完全に結合された共同設計および完全にデカップリングされたNASと比べてどのように異なるか？
• RQ4 多様なニューラルアーキテクチャおよびアクセラレータ構成空間、特にミックスド・データフローの状況下において、性能の単調性の実証的強度はどの程度か？
• RQ5 提案手法は、最先端の完全に結合された共同設計と比較して、探索空間を桁違いに縮小した上で、最適またはほぼ最適の性能を達成できるか？

主な発見

• NAS-Bench-301 および AlphaNet の両探索空間において、latencyおよびエネルギーの性能の単調性は強く、両者でスピアマンの順位相関係数（SRCC）が一貫して 0.9 以上である。
• 1つのプロキシアクセラレータ上で特定された最適アーキテクチャの集合は、他の全アクセラレータ上で得られる最適集合とほぼ同一であることが確認され、半デカップリング手法の核心的仮定が妥当であることが裏付けられた。
• 提案手法は、最先端の完全に結合された共同設計と比較して、探索空間を桁違いに縮小した上で、最適またはほぼ最適の性能を達成した。
• NAS-Bench-301 および AlphaNet における実験から、プロキシの最適アーキテクチャ集合から選ばれたモデルは、最先端の結合型共同設計手法と同等の精度を達成した。
• 共同設計コストは顕著に削減された：最先端の共同設計手法は1つのデプロイメントシナリオあたり数十時間のGPU計算を要するが、本手法は最小限のオーバーヘッドで迅速かつスケーラブルな共同設計を可能にした。
• レイヤー単位のミックスド・データフロー構成（各レイヤーが異なるハードウェアおよびデータフローの組み合わせにマッピング可能）でも本手法は有効であり、5,000件のサンプル混合構成において高いSRCC値が確認された。