[論文レビュー] A Bi-Directional Co-Design Approach to Enable Deep Learning on IoT Devices

Xiaofan Zhang, Cong Hao+5 more|arXiv (Cornell University)|May 20, 2019

Advanced Neural Network Applications参考文献 10被引用数 10

ひとこと要約

本論文は、下位互換DNN設計と上位からのアクセラレータ探索を組み合わせることで、IoTデバイス向けに深層畳み込みニューラルネットワーク（DNN）モデルとFPGAアクセラレータを同時に最適化する双方向的共同設計フレームワークを提案する。Pynq-Z1 FPGA上で29.7 FPSおよび12.38 image/wattの効率を達成し、DAC'18コンテストのFPGAおよびGPU優勝設計を上回る精度、スループット、およびエネルギー効率を実現した。

ABSTRACT

Developing deep learning models for resource-constrained Internet-of-Things (IoT) devices is challenging, as it is difficult to achieve both good quality of results (QoR), such as DNN model inference accuracy, and quality of service (QoS), such as inference latency, throughput, and power consumption. Existing approaches typically separate the DNN model development step from its deployment on IoT devices, resulting in suboptimal solutions. In this paper, we first introduce a few interesting but counterintuitive observations about such a separate design approach, and empirically show why it may lead to suboptimal designs. Motivated by these observations, we then propose a novel and practical bi-directional co-design approach: a bottom-up DNN model design strategy together with a top-down flow for DNN accelerator design. It enables a joint optimization of both DNN models and their deployment configurations on IoT devices as represented as FPGAs. We demonstrate the effectiveness of the proposed co-design approach on a real-life object detection application using Pynq-Z1 embedded FPGA. Our method obtains the state-of-the-art results on both QoR with high accuracy (IoU) and QoS with high throughput (FPS) and high energy efficiency.

研究の動機と目的

• リソース制限のあるIoTデバイスにDNNをデプロイする際の、結果品質（QoR）とサービス品質（QoS）の最適でないトレードオフを是正すること。
• 従来のDNNとアクセラレータの分離設計が、ハードウェア・ソフトウェアの構成が整合しないことにより、しばしばQoSやQoRが劣化する要因となることの限界を特定すること。
• ハードウェアに配慮したDNN探索と初期のQoS推定を統合することで、DNNモデルとアクセラレータの共同最適化を可能にする共同設計フローを提案すること。
• DNNとアクセラレータを同時に共同設計することで、反復的かつ独立した最適化よりも優れたパフォーマンスが得られることを実証すること。
• 物体検出タスクにおいて、Pynq-Z1のような実世界の埋め込みFPGAプラットフォームで高い推論精度、スループット、エネルギー効率を達成すること。

提案手法

• 本手法は、下位からのDNN設計戦略を用い、ハードウェア性能予測に基づいて選択された再利用可能なレイヤーバンドル（例：DW-Conv3, PW-Conv1, max-pooling）からDNNを構築する。
• 設計プロセスの初期段階で、QoS（遅延、リソース使用量）を推定するための解析的モデルを採用し、完全なトレーニングを行う前段階でハードウェア特性を迅速に評価可能にする。
• 有望なバンドルを特定する二段階の選択プロセスを実施：まず、プロトタイプ上で高速トレーニング（20エポック）によりQoRの潜在的性能を評価し、次にターゲット制約とのQoS整合性を検証する。
• スチュアティック・コORDINATE DESCENT（SCD）アルゴリズムを用いて、QoSおよびQoR制約下でDNN構成を探索し、正確なQoS評価からのフィードバックに基づき反復的にモデルを最適化する。
• リソース共有を最大化し、コンact FPGAsでの効率的な計算を可能にするために、ハイブリッド・フォールドおよびアンフォールド・タイルベースのパイプラインアーキテクチャを採用したアクセラレータを提案する。
• W16/F8、W11/F8など、さまざまな量子化スキームをバンドル全体にわたって体系的に検討し、モデルの精度とハードウェア効率のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 なぜDNNモデル設計とハードウェアアクセラレータ設計を分離すると、IoTデプロイメントにおいてQoRとQoSが最適でなくなるのか？
• RQ2 異なる圧縮戦略（例：重み vs. 特徴マップの量子化）は、推論精度とハードウェアリソース使用量にどのように異なる影響を与えるのか？
• RQ3 DNN探索段階で早期にハードウェアに配慮したQoS推定がなされると、精度と効率のトレードオフがどのように改善されるのか？
• RQ4 データ精度（ビット幅）が、FPGAリソース使用量（例：BRAM、DSP）に与える影響は何か？
• RQ5 共同設計アプローチは、実際の埋め込みFPGAプラットフォーム上で、最先端のソリューションを上回る精度とエネルギー効率を達成できるか？

主な発見

• 提案されたDNN-Aは、Pynq-Z1 FPGA上で29.7 FPSおよび12.38 image/wattの効率を達成し、FPGA優勝設計をスループットおよびエネルギー効率の両面で上回った。
• DNN-Cは、IoU 68.6%、FPGA優勝設計比1.45倍のFPS、2.4倍のエネルギー効率を達成し、精度は同等ながらGPU優勝設計をエネルギー効率で上回った。
• 量子化とハードウェアマッピングを共同設計することで、特徴マップの圧縮に起因する精度損失を9.8%から1%未満にまで低減し、圧縮に対する耐性が向上した。
• データ精度のわずかな変更に対しても、ハードウェアリソース使用量（例：BRAMやDSP）に顕著な変化が生じ、非効率な構成を避けるために共同設計の重要性が浮き彫りになった。
• 共同設計アプローチにより、特徴マップサイズを16倍に削減しつつ、精度の低下は4.8%にとどめ、高いスループットと低消費電力を維持した。
• バンドルベース探索により、ターゲットの物体検出タスクにおいて、DW-Conv3、PW-Conv1、およびmax-poolingが最も効果的な構築ブロックであると特定された。