[論文レビュー] Multi-DNN Accelerators for Next-Generation AI Systems

Stylianos I. Venieris, Christos-Savvas Bouganis+1 more|arXiv (Cornell University)|May 19, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、次世代AIシステムの増大する要件に応えるために、単一DNNから複数DNNアクセラレータ設計へのパラダイム転換を提案する。共同設計手法、DNN間近似計算、最適化スケジューリングを導入し、多様なDNNワークロードにおける個々の遅延制約を満たしながらスループットを最大化する。

ABSTRACT

As the use of AI-powered applications widens across multiple domains, so do increase the computational demands. Primary driver of AI technology are the deep neural networks (DNNs). When focusing either on cloud-based systems that serve multiple AI queries from different users each with their own DNN model, or on mobile robots and smartphones employing pipelines of various models or parallel DNNs for the concurrent processing of multi-modal data, the next generation of AI systems will have multi-DNN workloads at their core. Large-scale deployment of AI services and integration across mobile and embedded systems require additional breakthroughs in the computer architecture front, with processors that can maintain high performance as the number of DNNs increases while meeting the quality-of-service requirements, giving rise to the topic of multi-DNN accelerator design.

研究の動機と目的

• クラウド、モバイル、組み込みAIシステムにおける複数DNNの高パフォーマンスかつ高エネルギー効率な処理の増大するニーズに対応する。
• 計算およびメモリ要件が多様な複数DNNワークロードに不適切である単一DNNアクセラレータの限界を克服する。
• パイプライン、並列、およびカスケードDNNワークロードをサポートするアクセラレータを設計し、個々の遅延およびスループット制約を満たす。
• 進化するDNNアーキテクチャおよびワークロードをサポートするため、ハードウェアカスタマイズと柔軟性のバランスを取る。
• モデル-ハードウェア共同設計およびDNN間近似技術を通じて、スケーラブルかつ効率的な複数DNN加速を実現する。

提案手法

• 複数DNNワークロードに特化した相互DNN並列処理および適応的スケジューリングポリシーを核とする新しいアーキテクチャ的パラダイムを提案する。
• 共有低ランク重み表現および可変精度を活用することで、制御された精度低下でリソース使用量を削減するDNN間近似計算を導入する。
• 探索ベース最適化（例：ASICNAS）を用いたモデル-ハードウェア共同設計により、DNNアーキテクチャ、スケジューリング、ハードウェアパラメータを同時に最適化する。
• 計算対通信比、メモリ容量、近似耐性の差を考慮したワークロードに特化したリソース割り当てを実施する。
• パイプラインおよび並列DNNのための共同スケジューリング機構を開発し、無駄な待機時間を最小限に抑え、スループットを最大化する。
• 多様なAIアプリケーションにわたる使いやすさを確保するため、ソフトウェア支援および抽象化レイヤーを統合する。

実験結果

リサーチクエスチョン

• RQ1 多様なメモリ、計算、精度要件を有する複数DNNワークロードを効率的に処理できる複数DNNアクセラレータは、どのようにアーキテクチャ設計されるべきか？
• RQ2 単一DNNのスループットおよび遅延を超えた、複数DNNシステムにおける主なパフォーマンス指標と設計上のトレードオフは何か？
• RQ3 DNN間の冗長性および近似耐性の差を活用することで、エネルギー効率および面積効率をどのように向上できるか？
• RQ4 複数DNNおよびハードウェア構成の高次元設計空間を効果的に探索するためのスケーラブルな共同設計手法は何か？
• RQ5 スケジューリングおよび相互DNN並列処理は、個々のDNN遅延制約を満たしながら、合算スループットを最大化するために果たす役割は何か？

主な発見

• 複数DNNアクセラレータは、単一DNN最適化から相互DNN並列処理、スケジューリング、DNN間リソース共有への焦点転換を行う必要がある。これにより、高スループットおよび低遅延を達成できる。
• DNN間近似計算（例：共有低ランク重み表現）は、制御された精度低下で顕著なハードウェア効率向上をもたらす。
• ASICNASを例に示すモデル-ハードウェア共同設計は、複数DNNワークロードで最大2倍のエネルギー削減を達成し、精度低下は1.6ポイント未満に抑えられる。
• 複数DNNアクセラレータの設計空間は、単一DNNシステムに比べてはるかに複雑である。これは、DNN間の多様性、変動性、および相互依存性に起因する。
• 将来のアクセラレータは、カスタマイズ性と柔軟性のバランスを保ちつつ、広範なAIアプリケーションへの広範な使いやすさを確保するための強力なソフトウェア支援を内蔵する必要がある。
• 近似計算および共同設計は、次世代複数DNNシステムにおける高パフォーマンスおよび高エネルギー効率を実現するための重要な促進要因である。