[論文レビュー] ConfuciuX: Autonomous Hardware Resource Assignment for DNN Accelerators using Reinforcement Learning

Sheng-Chun Kao, Geonhwa Jeong+1 more|arXiv (Cornell University)|Sep 4, 2020

Advanced Neural Network Applications参考文献 83被引用数 10

ひとこと要約

ConfuciuX は、REINFORCE を用いた強化学習ベースの手法を提案し、DNNアクセラレータにおける最小遅延および最小エネルギーを実現するためのハードウェアリソース割り当て（計算リソースおよびメモリ）を自律的に行う。詳細なパフォーマンスコストモデルを活用し、遺伝的アルゴリズム（GA）による微調整を施す。他の最適化手法と比較して 4.7–24× の高速な収束を達成する。

ABSTRACT

DNN accelerators provide efficiency by leveraging reuse of activations/weights/outputs during the DNN computations to reduce data movement from DRAM to the chip. The reuse is captured by the accelerator's dataflow. While there has been significant prior work in exploring and comparing various dataflows, the strategy for assigning on-chip hardware resources (i.e., compute and memory) given a dataflow that can optimize for performance/energy while meeting platform constraints of area/power for DNN(s) of interest is still relatively unexplored. The design-space of choices for balancing compute and memory explodes combinatorially, as we show in this work (e.g., as large as O(10^(72)) choices for running \mobilenet), making it infeasible to do manual-tuning via exhaustive searches. It is also difficult to come up with a specific heuristic given that different DNNs and layer types exhibit different amounts of reuse. In this paper, we propose an autonomous strategy called ConfuciuX to find optimized HW resource assignments for a given model and dataflow style. ConfuciuX leverages a reinforcement learning method, REINFORCE, to guide the search process, leveraging a detailed HW performance cost model within the training loop to estimate rewards. We also augment the RL approach with a genetic algorithm for further fine-tuning. ConfuciuX demonstrates the highest sample-efficiency for training compared to other techniques such as Bayesian optimization, genetic algorithm, simulated annealing, and other RL methods. It converges to the optimized hardware configuration 4.7 to 24 times faster than alternate techniques.

研究の動機と目的

• DNNアクセラレータにおけるオンチップ計算リソースおよびメモリ割り当ての最適化という課題に取り組む。これはパフォーマンスとエネルギー効率にとって極めて重要であるが、現状ほとんど未開拓である。
• 探索空間の組み合わせ的爆発（例：MobileNet-V2 では O(10^72)）を克服し、全探索が非現実的であることを解決する。
• プラットフォーム制約下で、レイヤー順次（LS）およびレイヤーパイプライン（LP）の両方のデプロイメント環境において、ハードウェアリソース割り当てプロセスを自動化する。
• ベイズ最適化、シミュレーテッドアニーリング、その他の強化学習手法と比較して、設計空間探索におけるサンプル効率を向上させる。
• 固定データフロー選択を超えて、ハードウェア構成とデータフロー様式の共同探索を可能にし、パフォーマンスをさらに向上させる。

提案手法

• 広大なハードウェア構成空間におけるグローバル探索を支援するため、詳細なハードウェアパフォーマンスコストモデルを用いて報酬を推定する REINFORCE の強化学習アルゴリズムを採用する。
• 粗い解が得られた後、局所的な微調整を実施するため、遺伝的アルゴリズム（GA）を統合し、最終的な構成をさらに最適化する。
• リソース割り当て問題を、各DNNレイヤーに対して処理エンジン（PE）とバッファを割り当てる行動に対応させる離散的かつ不規則な最適化問題として定式化する。
• エンドツーエンドの遅延とエネルギーに基づく報酬関数を用い、面積および電力制約を満たすように、RLポリシーが最適な構成へ向かって誘導される。
• レイヤー順次（LS）およびレイヤーパイプライン（LP）の両方のデプロイメントモデルをサポートし、それぞれに特化したリソース割り当て戦略を適用する。
• 実際の合成を伴わずにハードウェア動作をシミュレートできる事前学習済みのパフォーマンスコストモデルを活用し、RLエージェントの高速かつスケーラブルな学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、DNNアクセラレータのハードウェアリソース割り当ての巨大で組み合わせ的な設計空間を効果的に探索できるか？
• RQ2 この文脈において、ベイズ最適化、シミュレーテッドアニーリング、遺伝的アルゴリズムと比較して、REINFORCEベースの強化学習のサンプル効率はどの程度高いか？
• RQ3 ハードウェア構成とデータフロー様式の共同探索は、固定データフロー選択を上回るパフォーマンス向上をどの程度達成できるか？
• RQ4 強化学習によるグローバル探索と遺伝的アルゴリズムによるローカル微調整を組み合わせたハイブリッド手法は、単独の手法と比較して優れた結果を達成できるか？
• RQ5 ConfuciuX は、IoT とクラウドの両方のプラットフォーム制約下で、多様なDNNモデル、データフロー様式においてどの程度の性能を示すか？

主な発見

• ConfuciuX は、評価されたすべての最適化手法の中で最高のサンプル効率を達成し、他の手法と比較して最適または準最適な構成に到達するまでの収束が 4.7～24倍速い。
• REINFORCEベースの強化学習手法（Con’X(global)）は、ハードウェア構成とデータフロー様式を同時に探索でき、固定データフローのベースラインと比較してパフォーマンスを 4%～69% 向上させた。
• 粗いRL最適化後に統合された遺伝的アルゴリズムにより、最良の構成に対する局所的微調整を通じて、さらに 7%～93% の性能向上が達成された。
• 128 個の PE と 128 個のバッファを搭載した MobileNet-V2 では、設計空間に約 O(10^72) の可能な構成が存在し、全探索が非現実的であることを裏付けた。
• 本研究では、先行研究の引用を通じて、ハードウェアリソース割り当てがデータフロー選択よりもアクセラレータのパフォーマンスにより大きな影響を与える可能性があることを示した。
• ConfuciuX は、多様なモデルやデプロイメントシナリオ（LS および LP モードを含む）において、自動的かつ高効率な設計空間探索を可能にした。