[論文レビュー] SoC-Tuner: An Importance-guided Exploration Framework for DNN-targeting SoC Design

Shixin Chen, Su Zheng+5 more|arXiv (Cornell University)|Dec 19, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

SoC-Tuner は、DNNに最適化されたシステムオンチップ（SoC）アーキテクチャを設計するための、新たな重要度誘導型探索フレームワークである。重要度に基づくプルーニング、代表的サンプリング、および情報誘導型の多目的最適化を用い、フル VLSI フロー評価を組み合わせることで、DNNベンチマークにおいて、精度と収束速度の両面で先行手法を上回るパラメータのパレート最適な構成を効率的に同定する。

ABSTRACT

Designing a system-on-chip (SoC) for deep neural network (DNN) acceleration requires balancing multiple metrics such as latency, power, and area. However, most existing methods ignore the interactions among different SoC components and rely on inaccurate and error-prone evaluation tools, leading to inferior SoC design. In this paper, we present SoC-Tuner, a DNN-targeting exploration framework to find the Pareto optimal set of SoC configurations efficiently. Our framework constructs a thorough SoC design space of all components and divides the exploration into three phases. We propose an importance-based analysis to prune the design space, a sampling algorithm to select the most representative initialization points, and an information-guided multi-objective optimization method to balance multiple design metrics of SoC design. We validate our framework with the actual very-large-scale-integration (VLSI) flow on various DNN benchmarks and show that it outperforms previous methods. To the best of our knowledge, this is the first work to construct an exploration framework of SoCs for DNN acceleration.

研究の動機と目的

• 簡略化された解析的モデルに依存するため、DNN向け SoC 設計における不正確で不完全な設計空間探索の課題に対処すること。
• 高品質な構成の特定を自動化することで、SoC 探索に要する時間と専門知識を削減すること。
• CPU、アクセラレータ、メモリ、インターコネクトを含む、すべての主要 SoC コンponent 間の相互作用を含む包括的な設計空間を構築すること。
• 近似モデルではなく、フル VLSI フローを用いて、遅延、消費電力、面積について正確かつハードウェアに忠実な評価を実現すること。
• 複数の設計指標にわたる、自動的でバイアスのないパレート最適なトレードオフ空間の探索を可能にすること。

提案手法

• CPU、アクセラレータ（例：システリックアレイ）、メモリ階層、インターコネクトを含む、すべての主要 SoC コンponent をパラメータ化することで包括的な設計空間を構築する。
• ICD アルゴリズムを用いた重要度ベースの分析を実施し、影響が小さいとされる設計パラメータを同定・プルーニングすることで、設計空間を 30.16% 減少させる。
• 最適化の初期化ポイントを代表的に選択するためのサンプリングアルゴリズムを採用し、多様で情報量の多い初期構成を保証する。
• 期待されるハイパーボリューム改善（expected hypervolume improvement）を用いて、遅延、消費電力、面積のバランスを取る情報誘導型の多目的最適化戦略を採用する。
• 設計点の正確な評価に、近似モデルではなくフル VLSI フローを用いる。
• Chipyard および Chisel と統合し、迅速かつパラメータ化可能なハードウェア生成と RTL シミュレーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 DNN向け SoC の設計空間を、パレート最適な構成を発見できる能力を保ちつつ、効果的に縮小するにはどうすればよいか？
• RQ2 解析的モデルと比較して、フル VLSI フロー評価を用いることで、設計空間探索の正確性はどの程度向上するか？
• RQ3 重要度ベースのプルーニングと代表的サンプリングは、多目的 SoC 探索におけるパレート最適集合への収束を顕著に高速化できるか？
• RQ4 SoC-Tuner の最適化戦略は、最先端の手法と比較して、収束速度と真のパレートフロントへの近接度において、どのように差をつけるか？
• RQ5 このフレームワークは、多様な DNN ワークロードに一般化可能であり、高い効率性と正確性を維持できるか？

主な発見

• SoC-Tuner は ICD アルゴリズムを用いた重要度ベースのプルーニングにより、設計空間を 30.16% 減少させ、探索効率を顕著に向上させた。
• ベースライン手法と比較して、基準パレート集合への平均距離（ADRS）が低く抑えられ、真のパレートフロントへの収束性が優れていることが示された。
• 遅延-面積空間および遅延-消費電力空間において、SoC-Tuner が学習したパレート集合は、他の手法と比較して実際のパレート最適集合にはるかに近いことが図 4 で示された。
• 先行研究で用いられた簡略化された解析的モデルは、VLSI フローによる実測値と著しく乖離したパレート集合を生成しており、その不正確性が立証された。
• SoC-Tuner は、ResNet50 や Transformer をベースとするモデルを含む複数の DNN において、最も低い推論サイクル数を達成し、他の探索手法を上回った。
• SoC-Tuner が生成した最適な SoC 設計は、最小限の面積オーバーヘッドで最高のパフォーマンスを達成しており、図 7(b) の VLSI 面積分解析で確認された。