[論文レビュー] Resource-Efficient Neural Networks for Embedded Systems

Wolfgang Roth, Günther Schindler+6 more|arXiv (Cornell University)|Jan 7, 2020

Advanced Neural Network Applications参考文献 100被引用数 20

ひとこと要約

本論文は、組み込みシステム向けにリソース効率の良い深層ニューラルネットワーク（DNN）の包括的サーベイを提示しており、メモリ、計算、エネルギー消費を削減するための量子化、剪定、構造的効率に焦点を当てている。本研究では、量子化と構造的剪定を組み合わせることで、CIFAR-10およびImageNetにおける競争力ある精度を維持しつつ、CPU、GPU、FPGAで高い推論スループットを達成できることを示している。

ABSTRACT

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on resource-efficient inference based on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark data sets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and prediction quality.

研究の動機と目的

• 限られたメモリ、計算リソース、エネルギーを備えた実世界の組み込みおよびIoTシステムに、リソース集約型の深層ニューラルネットワーク（DNN）をデプロイする課題に対処すること。
• 予測性能を損なわせることなくDNNの複雑さを低減するためのキーテクニック（量子化、剪定、構造的効率）を特定し、分析すること。
• 異なる組み込みハードウェアプラットフォーム（CPU、GPU、FPGA）における圧縮技術の有効性を評価し、システムレベルの設計意思決定を支援すること。
• 実世界のデプロイ環境において、モデルの精度、推論速度、エネルギー効率のバランスを取ることがいかに困難であるかを強調すること。

提案手法

• リソース効率の良いDNN技術を、重複しない3つのアプローチに分類する：量子化ニューラルネットワーク、ネットワーク剪定、構造的効率。
• 各分野における最先端の手法をサーベイする。これには、トレーニング後の量子化、構造的・非構造的剪定、およびMobileNetやEfficientNetのような効率的アーキテクチャが含まれる。
• トレーニング中にビット幅を学習する混合精度量子化を統合し、表現力と計算効率のバランスを取る。
• 圧縮技術（量子化と剪定）をトレーニング中または後処理として適用し、モデルサイズの削減と推論の高速化を実現する。
• ARM CPU、NVIDIA GPU、Xilinx FPGAを備えた組み込みシステムを用いて、標準ベンチマーク（CIFAR-10、ImageNet）でパフォーマンスを評価する。
• ハードウェア・ソフトウェア共同最適化のトレードオフを分析し、メモリ制約、並列処理、オンチップデータフローに注目し、最適なリソース利用を促進する。

実験結果

リサーチクエスチョン

• RQ1 量子化と剪定技術は、予測精度を保持しつつ、どのようにDNNの計算およびメモリ容量を削減するのか？
• RQ2 異なる組み込みハードウェアプラットフォーム（CPU、GPU、FPGA）で、圧縮DNNをデプロイする際のパフォーランスのトレードオフは何か？
• RQ3 構造的剪定と量子化をどの程度組み合わせることで、リソース制約のあるデバイスで高いスループットと低遅延を達成できるか？
• RQ4 ハードウェア固有の特性（例：メモリ帯域幅、並列処理、オンチップストレージ）は、圧縮技術の有効性にどのように影響するか？
• RQ5 自動化されたニューラルアーキテクチャ探索（NAS）は、現在のヒューリスティック設計を超えた根本的に新しい効率的DNN構造を発見できるか？

主な発見

• FPGAはデータフローアーキテクチャのおかげで最高のスループットとハードウェア利用度を達成するが、全モデル（活性化を含む）がオンチップに収容されなければならない。
• GPUは、最適化されたライブラリとオフチップメモリを組み合わせることで、プログラマビリティ、スループット、精度のバランスに優れる。
• CPUは圧縮モデルに適しているが、競争力ある推論速度を得るには並列処理能力に欠ける。
• 8ビット以下への量子化は、メモリと計算コストを顕著に削減するが、混合精度アプローチにより精度の保持が向上することが示された。
• 構造的剪定は、密なテンソル互換モデルを生成し、加速器に効率的にマッピング可能であり、高い推論効率を実現する。
• 精度と効率の最良のトレードオフは、ターゲットハードウェアに強く依存しており、すべてのプラットフォームに普遍的に最適な手法は存在しない。