[論文レビュー] Toolflows for Mapping Convolutional Neural Networks on FPGAs: A Survey and Future Directions

Stylianos I. Venieris, Alexandros Kouris+1 more|arXiv (Cornell University)|Mar 15, 2018

CCD and CMOS Imaging Sensors参考文献 90被引用数 12

ひとこと要約

この論文は、CNNからFPGAへのツールフローを調査し、そのアーキテクチャ的選択、デザインスペースの探索、フレームワーク間でのパフォーマンスを分析している。公平な比較を可能にするための標準化された評価手法を提案し、FPGA統合を強化するための今後の研究分野として、エンド・ツー・エンドのハードウェア・ネットワーク共同最適化やFPGAベースの学習を特定している。

ABSTRACT

In the past decade, Convolutional Neural Networks (CNNs) have demonstrated state-of-the-art performance in various Artificial Intelligence tasks. To accelerate the experimentation and development of CNNs, several software frameworks have been released, primarily targeting power-hungry CPUs and GPUs. In this context, reconfigurable hardware in the form of FPGAs constitutes a potential alternative platform that can be integrated in the existing deep learning ecosystem to provide a tunable balance between performance, power consumption and programmability. In this paper, a survey of the existing CNN-to-FPGA toolflows is presented, comprising a comparative study of their key characteristics which include the supported applications, architectural choices, design space exploration methods and achieved performance. Moreover, major challenges and objectives introduced by the latest trends in CNN algorithmic research are identified and presented. Finally, a uniform evaluation methodology is proposed, aiming at the comprehensive, complete and in-depth evaluation of CNN-to-FPGA toolflows.

研究の動機と目的

• CNNからFPGAへのツールフローにおける標準化された評価の欠如が、パフォーマンス比較の公平性を損なっている問題に対処する。
• 近年のCNNアーキテクチャの特徴（例：深さの増加、複雑さの増大）がFPGAへのマッピングに及ぼす主な課題を特定する。
• 包括的なベンチマークスイートと評価メトリクスを提案し、ツールフローのパフォーマンスを詳細かつ再現可能に評価できる仕組みを整える。
• FPGA統合の向上を図るための今後の研究分野を検討する。具体的には、エンド・ツー・エンドのハードウェア・ネットワーク共同最適化やFPGAベースのCNN学習を含む。
• Caffe、PyTorch、TensorFlowなどの主要フレームワークからの自動的かつ高水準なマッピングを可能にすることで、ディープラーニング実務家によるFPGAの利用可能性を向上させる。

提案手法

• 15以上の公開済みCNNからFPGAへのツールフローを比較分析し、対応するフレームワーク、対応するネットワーク、マッピング技術を評価する。
• インターフェース（例：Caffe、Torch、PyTorch）、抽象化レベル（HLS対比ハイレベルジェネレータ）、デザインスペース探索戦略に基づいてツールフローを分類する。
• 多様なCNNモデルとFPGAプラットフォームを含むベンチマークスイートに基づく一貫性のある評価手法を提案し、スループット、レイテンシ、消費電力、リソース使用率を測定する。
• 複数のディープラーニングフレームワーク（例：TensorFlow、MXNet、CoreML）から得られる中間表現（IR）を処理するフレームワークに依存しない評価パイプラインを導入し、一貫性のあるFPGAマッピングを実現する。
• 1秒あたりのMAC演算数、エネルギー効率、リソース使用率比といったパフォーマンスメトリクスを定義し、ツールフロー間の比較を可能にする。
• ハードウェアに配慮した最適化を学習ループに統合することを提唱し、ネットワークトポロジー、精度、FPGAリソース割り当てを統合的に最適化できる仕組みを実現する。

実験結果

リサーチクエスチョン

• RQ1 既存のCNNからFPGAへのツールフローには、対応するフレームワーク、マッピング技術、パフォーマンス特性において、どのような主な差異とトレードオフがあるか？
• RQ2 現在のCNNからFPGAへのツールフローの評価手法が、なぜプラットフォーム間で公平かつ包括的な比較を妨げているのか？
• RQ3 再現可能で包括的なFPGAベースのCNNアクセラレータの評価を可能にするため、標準化されたベンチマークスイートと評価フレームワークをどのように設計できるか？
• RQ4 現代的で複雑なCNN（例：ResNet、DenseNet）をFPGAにマッピングするにあたり、どのような主要な課題が生じるか？また、ツールフローはそれらに対処するにはどうすればよいか？
• RQ5 エンド・ツー・エンドの共同最適化やFPGAベースの学習といった今後の研究分野は、どのようにしてFPGAをディープラーニングワークフローに統合するのを大幅に向上させられるか？

主な発見

• 本サーベイでは15以上のCNNからFPGAへのツールフローを同定した。その多くはCaffeやTorchをターゲットとしており、対応するネットワークタイプや最適化戦略において顕著な差異が見られた。
• 既存の評価手法は一貫性がなく、不完全であり、メモリ帯域幅やリソース使用率を無視する傾向があるため、信頼性の高いパフォーマンス比較が制限されている。
• Vivado HLS や OpenCL ベースのフローといった高水準合成（HLS）ツールは広く使われているが、CNN固有のデータフロー特性に配慮したアプリケーションに特化した最適化が欠如している。
• fpgaConvNet や DnnWeaver、Caffeine といったツールフローは、CPUベースライン比で最大10倍のスループット向上を達成し、GPU比で2〜5倍のエネルギー効率向上を示した。
• 提案されたベンチマークスイートにより、多様なCNN（例：AlexNet、VGG、ResNet）とFPGAプラットフォーム（例：Xilinx Zynq、Intel Arria）を対象とした標準化された評価が可能となり、顕著なパフォーマンスのばらつきが明らかになった。
• エンド・ツー・エンドの共同最適化やFPGAベースの学習といった今後の研究分野は未だ十分に検討されておらず、報告されているのは初期段階の研究にとどまっていることから、大きな研究ギャップが存在することが示された。