[論文レビュー] Co-Exploration of Neural Architectures and Heterogeneous ASIC Accelerator Designs Targeting Multiple Tasks
本稿では、エッジデバイス上の複数のAIワークロードに対して、ニューラルアーキテクチャ探索（NAS）と異種ASICアクセラレータ設計を共同最適化するNASAICという共探索フレームワークを提案する。事前に定義されたデータフローに基づくASICテンプレートを活用することで、NASAICはマルチタスクRNNコントローラーを用いてDNNアーキテクチャとハードウェアリソース割り当てを共同最適化し、逐次的なNAS-ASIC最適化と比較して17.77%低い遅延、2.49倍少ないエネルギー、2.32倍小さい面積を達成するとともに、平均0.76%の精度損失を維持しながら設計仕様を遵守する。
Neural Architecture Search (NAS) has demonstrated its power on various AI accelerating platforms such as Field Programmable Gate Arrays (FPGAs) and Graphic Processing Units (GPUs). However, it remains an open problem, how to integrate NAS with Application-Specific Integrated Circuits (ASICs), despite them being the most powerful AI accelerating platforms. The major bottleneck comes from the large design freedom associated with ASIC designs. Moreover, with the consideration that multiple DNNs will run in parallel for different workloads with diverse layer operations and sizes, integrating heterogeneous ASIC sub-accelerators for distinct DNNs in one design can significantly boost performance, and at the same time further complicate the design space. To address these challenges, in this paper we build ASIC template set based on existing successful designs, described by their unique dataflows, so that the design space is significantly reduced. Based on the templates, we further propose a framework, namely NASAIC, which can simultaneously identify multiple DNN architectures and the associated heterogeneous ASIC accelerator design, such that the design specifications (specs) can be satisfied, while the accuracy can be maximized. Experimental results show that compared with successive NAS and ASIC design optimizations which lead to design spec violations, NASAIC can guarantee the results to meet the design specs with 17.77%, 2.49x, and 2.32x reductions on latency, energy, and area and with 0.76% accuracy loss. To the best of the authors' knowledge, this is the first work on neural architecture and ASIC accelerator design co-exploration.
研究の動機と目的
- アプリケーション固有集積回路（ASIC）設計とニューラルアーキテクチャ探索（NAS）を統合する課題に対処すること。ASICは最高のエネルギー効率とパフォーマンスを提供するが、その統合は未解決のままである。
- 既存のアクセラレータ（Shidiannao、NVDLA、Eyerissなど）から得られる実証済みのデータフロー様式に基づき、再利用可能なテンプレートのセットを構築することで、広大なASIC設計空間を縮小すること。
- エッジデバイス上で並列して実行される複数のタスクワークロードを想定し、複数のDNNアーキテクチャと異種ASICサブアクセラレータ設計を同時に最適化し、すべての設計仕様を満たすこと。
- 複数のタスクにおいて、最適なニューラルアーキテクチャとハードウェアリソース割り当てを同時に決定する統合フレームワークを構築し、逐次最適化による部分最適解を回避すること。
提案手法
- NASAICは、既存の成功事例に基づくASICアクセラレータのテンプレートライブラリを構築し、各テンプレートが固有のデータフローを持つことで、設計空間をテンプレート選択とリソース割り当てに限定する。
- 複数のDNNのハイパーパramータを同時に予測し、選択されたテンプレート上でハードウェアリソース（例：PE、NoC帯域）を割り当てる、新しいマルチタスクRNNコントローラーを設計する。
- 各DNN-テンプレート構成の遅延、エネルギー、面積を推定するコストモデルを統合し、設計制約下での効率的な探索を可能にする。
- NASAICはニューラルアーキテクチャとハードウェア設計空間を共同で探索し、ユーザーが定義したすべての設計仕様（遅延、エネルギー、面積）を満たすことを保証する。
- 強化学習を用いてコントローラーを訓練し、ハードウェア制約を尊重した上で精度を最大化する。報酬関数には精度と制約遵守の両方を組み込む。
- フレームワークは均質的および非均質的なアクセラレータ構成をサポートし、異なるワークロードにそれぞれ異なるサブアクセラレータ（同一または異なる）を探索可能にする。
実験結果
リサーチクエスチョン
- RQ1ニューラルアーキテクチャとASICアクセラレータ設計を共に探索することで、逐次最適化と比較して、ハードウェア効率と精度が顕著に向上するか？
- RQ2広大なASIC設計空間を効果的に縮小しながら、非均質なワークロードに柔軟に対応できる設計の柔軟性を保てるか？
- RQ3それぞれのDNNに最適化された非均質なサブアクセラレータを用いることで、全体のシステムパフォーマンスとエネルギー効率にどのような影響を与えるか？
- RQ4共通の設計制約下で、1つの統合コントローラーが複数のDNNとそれに対応するハードウェアアクセラレータを同時に共最適化できるか？
- RQ5NASAICは、設計仕様の遵守を重視する点で、逐次的なNAS-ASICおよびASIC-NASワークフローと比較して、性能と精度で優れているか？
主な発見
- NASAICは、W1およびW2の両ワークロードにおいて、すべての設計仕様（遅延、エネルギー、面積）を遵守するが、逐次的なNAS→ASIC最適化では100%の設計仕様違反が生じる。
- ワークロードW1では、NASAICはNAS→ASICアプローチと比較して17.77%低い遅延、2.49倍少ないエネルギー、2.32倍小さい面積を達成し、平均0.76%の精度損失にとどまる。
- ワークロードW2では、NASAICはNAS→ASICと比較して遅延を30.39%、エネルギーを29.58%、面積を30.85%削減し、再び最小限の精度損失を維持する。
- NASAICは、ASIC→HW-NASアプローチを上回り、CIFAR-10では0.87%高い精度を達成し、Nucleiでも同等の精度を維持する。ただし、後者の解決策は設計仕様に近いが、NASAICは設計仕様を厳密に満たす。
- 均質的CIFAR-10ワークロード（W3）では、NASAICが非均質アクセラレータを用いて93.23%の精度を達成し、NASベースラインの94.17%に近く、すべての仕様を満たす。一方、単一または均質なアクセラレータ設計ではリソース制限により精度が低くなる。
- NASAICは、非均質サブアクセラレータ上に2つの異なるDNN（93.23%および91.11%の精度）を生成することでアンサンブル学習を可能にし、均質的または単一アクセラレータでは実現できない設計の柔軟性を提供する。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。