[論文レビュー] 2L-3W: 2-Level 3-Way Hardware-Software Co-Verification for the Mapping of Deep Learning Architecture (DLA) onto FPGA Boards

Tolulope A. Odetola, Katie M. Groves+1 more|arXiv (Cornell University)|Nov 14, 2019

VLSI and Analog Circuit Testing参考文献 26被引用数 6

ひとこと要約

本論文は、深層学習アーキテクチャ（DLA）をFPGAボードにマッピングするための新規な2L-3W（2レベル3ウェイ）ハードウェア・ソフトウェア共同検証手法を提案する。この手法により、ソフトウェア（Caffe）、ハイレベル合成（Vivado HLS）、ハードウェア（PYNQ FPGA）の間で段階ごとのクロスパラダイム検証が可能となり、自動化されたPythonベースの類似度スコアリングを用いて実装の正しさを検証する。設計段階での類似度スコアが99％に達し、マッピング上の問題を早期に特定する。結果として、FPGA上でのDLAデプロイにおいて高い忠実度とデバッグ可能性が実証された。

ABSTRACT

FPGAs have become a popular choice for deploying deep learning architectures (DLA). There are many researchers that have explored the deployment and mapping of DLA on FPGA. However, there has been a growing need to do design-time hardware-software co-verification of these deployments. To the best of our knowledge this is the first work that proposes a 2-Level 3-Way (2L-3W) hardware-software co-verification methodology and provides a step-by-step guide for the successful mapping, deployment and verification of DLA on FPGA boards. The 2-Level verification is to make sure the implementation in each stage (software and hardware) are following the desired behavior. The 3-Way co-verification provides a cross-paradigm (software, design and hardware) layer-by-layer parameter check to assure the correct implementation and mapping of the DLA onto FPGA boards. The proposed 2L-3W co-verification methodology has been evaluated over several test cases. In each case, the prediction and layer-by-layer output of the DLA deployed on PYNQ FPGA board (hardware) alongside with the intermediate design results of the layer-by-layer output of the DLA implemented on Vivado HLS and the prediction and layer-by-layer output of the software level (Caffe deep learning framework) are compared to obtain a layer-by-layer similarity score. The comparison is achieved using a completely automated Python script. The comparison provides a layer-by-layer similarity score that informs us the degree of success of the DLA mapping to the FPGA or help identify in design time the layer to be debugged in the case of unsuccessful mapping. We demonstrated our technique on LeNet DLA and Caffe inspired Cifar-10 DLA and the co-verification results yielded layer-by-layer similarity scores of 99\% accuracy.

研究の動機と目的

• FPGAへのDLAマッピングにおいて、ソフトウェア、ハードウェア設計、デプロイドハードウェアの間で段階的（レイヤー単位）の正しさを保証する包括的な設計時検証の欠如に対処すること。
• DLAからFPGAへのマッピングプロセス中に実装エラーを早期に検出できる体系的な手法を開発すること。
• クロスパラダイムデバッグを支援し、最終デプロイの前に機能的正しさを保証する、スケーラブルで自動化された検証フレームワークを提供すること。
• ソフトウェア、HLS設計、FPGAハードウェア実装の間でレイヤー単位の整合性を定量化するための新しい類似度スコア指標を導入すること。

提案手法

• 2L-3W手法は2段階の検証を実施する：(1) DLA推論のソフトウェアレベル検証、(2) HLS生成されたRTL設計のハードウェアレベル検証。
• Caffe（ソフトウェア）、Vivado HLS（設計）、PYNQ FPGA（ハードウェア）の3つのパラダイム間でレイヤー単位の出力を比較することで、3ウェイの共同検証を実装する。
• 自動化されたPythonスクリプトを用いて、3つのプラットフォーム間の対応する出力の間で類似度スコアを計算し、平均二乗誤差または正規化相関を用いる。
• 特定のレイヤーで類似度スコアが低いことを特定することで、段階的なデバッグを可能にし、的確な最適化を可能にする。
• Caffeをソフトウェアシミュレーション用、Vivado HLSをハイレベル合成用、PYNQ FPGAをハードウェアデプロイ用に使用し、LeNetおよびCaffeを模倣したCifar-10 DLAにフレームワークを適用する。
• 類似度スコアはレイヤーごとに計算され、マッピングパイプライン中の正しさの評価および最適化の指針として定量的指標として用いられる。

実験結果

リサーチクエスチョン

• RQ1 2レベル3ウェイの共同検証フレームワークは、ソフトウェア、ハードウェア設計、デプロイドFPGAプラットフォーム間でDLAマッピングの機能的正しさを効果的に検証できるか？
• RQ2 Caffe、HLS、FPGAからのレイヤー単位の出力をどれほど正確に一致させることで、FPGA上でのDLAデプロイにおける実装の不一致を検出できるか？
• RQ3 提案された類似度スコア指標は、DLAマッピングパイプラインにおけるエラーの早期検出および局所化にどの程度有効か？
• RQ4 各レイヤーの出力を手動で確認する必要なしに、スケーラブルで自動化された検証を実現できるか？
• RQ5 FPGAデプロイ時にビット幅を短縮することでレイヤー単位の出力忠実度にどのような影響が生じるか？また、この影響をフレームワークは定量的に評価できるか？

主な発見

• 2L-3W共同検証手法は、LeNetおよびCaffeを模倣したCifar-10 DLAの両方において、Caffeソフトウェア実装とVivado HLS設計との間でレイヤー単位の類似度スコアが99％に達した。
• FPGAデプロイ段階では、リソース制約のためのビット幅削減の影響により、類似度スコアは65％から84％の範囲にとどまり、精度とハードウェア効率のトレードオフが示された。
• フレームワークは類似度スコアが低いレイヤーを効果的に同定し、設計段階での的確なデバッグと最適化を可能にした。
• 提案された類似度スコア指標は、DLAマッピングパイプライン全体で実装の正しさを定量化し、最適化をガイドする上で有効であった。
• 従来の手法が最終予測値やソフトウェアのみの検証に限定されていたのに対し、本手法はソフトウェア、設計、ハードウェアの3つのパラダイムすべてで段階的（レイヤー単位）の共同検証を可能にし、優れた性能を示した。
• 本研究は、自動化されたクロスパラダイム検証がFPGA上での信頼性の高いDLAデプロイに実現可能で不可欠であることを示した。これにより、デプロイ後のデバッグが削減され、設計の信頼性が向上した。