[論文レビュー] Co-Design of Deep Neural Nets and Neural Net Accelerators for Embedded Vision Applications

Kiseok Kwon, Alon Amid+4 more|arXiv (Cornell University)|Apr 20, 2018

Advanced Neural Network Applications参考文献 16被引用数 7

ひとこと要約

この論文は、組み込みビジョン応用向けに最適化された深層ニューラルネットワーク（DNN）とニューラルネットワークアクセラレータの共同設計手法を提示している。DNNアーキテクチャ（SqueezeNext）とアクセラレータマイクロアーキテクチャ（Squeezelerator）を同時に最適化することで、最大6.3倍の高速化と2.25倍のエネルギー削減を達成した。本手法は、データフローに配慮したDNN設計と、ハードウェアに配慮したレイヤー再編成を活用し、ハードウェアの利用効率を最大化するとともに、メモリアクセスのオーバーヘッドを最小限に抑える。

ABSTRACT

Deep Learning is arguably the most rapidly evolving research area in recent years. As a result it is not surprising that the design of state-of-the-art deep neural net models proceeds without much consideration of the latest hardware targets, and the design of neural net accelerators proceeds without much consideration of the characteristics of the latest deep neural net models. Nevertheless, in this paper we show that there are significant improvements available if deep neural net models and neural net accelerators are co-designed.

研究の動機と目的

• 最先端のDNNモデルとニューラルネットワークアクセラレータ設計の間のギャップを解消するため、両者が個別に評価される傾向にあることに対処すること。
• DNNとアクセラレータを共同で設計することで、組み込みビジョンワークロードにおいて、性能、エネルギー効率、精度の向上を実証すること。
• ハードウェア制約をDNNアーキテクチャ設計に統合し、逆にDNN設計にハードウェアの特性を組み込む、体系的なアプローチを開発すること。
• 複数のデータフロー（重み固定型および出力固定型）をレイヤー単位でサポートする、最適なレイヤー単位のパフォーマンスを実現する専用アクセラレータ（Squeezelerator）を構築すること。
• Squeezeleratorのマイクロアーキテクチャ的特性を明示的に最適化した新しいDNNファミリー（SqueezeNext）を設計すること。

提案手法

• アーキテクチャシミュレーションとDNN設計の間でフィードバックループを用いたDNNとアクセラレータの共同設計。ハードウェア利用効率とメモリアクセスパターンに焦点を当てる。
• 各レイヤー単位で重み固定型および出力固定型の両方のデータフローをサポートするSqueezeleratorアクセラレータの設計。これにより、レイヤー特性に応じた動的適応が可能になる。
• SqueezeNet v1.0をSqueezeNextに最適化するため、初期レイヤーのフィルターサイズを7×7から5×5に縮小し、ハードウェア利用効率を向上させるためにレイヤー分布を再編成する。
• 初期レイヤーのチャネル数を削減し、より高いMAC/サイクル数を持つ後段のレイヤーにレイヤーを再配分することで、PEの利用効率を向上させ、メモリ遅延を隠蔽する。
• Squeezeleratorの微調整として、レジスタファイルサイズを8から16に倍増させ、局所的データ再利用を向上させ、外部メモリアクセスを削減する。
• Squeezeleratorおよびレファレンスアーキテクチャ上で、複数のDNN（SqueezeNet、Tiny Darknet、MobileNet、SqueezeNext）について、パフォーマンス、エネルギー、精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 DNNとアクセラレータを共同で設計することで、組み込みビジョン応用における推論速度とエネルギー効率に測定可能な向上が得られるか？
• RQ2 DNNレイヤー内のハードウェア利用パターンは、特に小型で効率的なモデルにおいて、アクセラレータ設計の意思決定にどのように影響を与えるか？
• RQ3 フィルターサイズやレイヤー分布の変更といったDNNアーキテクチャの変更が、精度を損なわずにアクセラレータ効率をどの程度向上させられるか？
• RQ4 1つのアクセラレータが、レイヤー単位で複数のデータフロー（例：重み固定型と出力固定型）をサポートでき、異なるレイヤー特性に適応できるか？
• RQ5 レジスタファイルサイズとデータ再利用最適化は、全体のシステムパフォーマンスおよびエネルギー消費にどのような影響を与えるか？

主な発見

• Squeezeleratorアクセラレータは、複数の主要DNN上で、単一データフロー型アクセラレータと比較して1.1倍から6.35倍の高速化を達成し、多様なレイヤー種別においてもハードウェア利用効率が向上した。
• Squeezeleratorに共同設計されたSqueezeNextは、SqueezeNet v1.0と比較して2.59倍の高速な推論と2.25倍の高いエネルギー効率を達成し、トップ-1精度も向上（59.2% vs. 57.1%）。
• 共同設計アプローチにより、AlexNetと比較して8.26倍の高速化と7.5倍の低いエネルギー消費が達成されたが、精度は維持または向上させた。
• 最初のレイヤーのフィルターサイズを7×7から5×5に縮小し、レイヤー分布を再編成することで、ハードウェア利用効率が著しく向上し、特に大きな入力特徴マップにおいて推論時間が短縮された。
• レジスタファイルサイズを8から16に倍増させたSqueezeleratorの微調整により、さらなるパフォーマンス向上が得られ、反復的共同設計の価値が示された。
• SqueezeNextファミリーは、精度、エネルギー、推論時間の間で良好なトレードオフを実現し、アプリケーション固有のモデル選択を可能にした。