[論文レビュー] LCP: A Low-Communication Parallelization Method for Fast Neural Network Inference in Image Recognition

Ramyad Hadidi, Bahar Asgari+7 more|arXiv (Cornell University)|Mar 13, 2020

Advanced Neural Network Applications参考文献 95被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワーク（DNN）を複数の細く独立したブランチに分割することで、エッジデバイス上で効率的で通信量が少ない分散推論を実現する、Low-Communication Parallelization（LCP）という手法を提案する。通信量を最小限に抑え、ノードごとの計算量とメモリ使用量を削減することで、エッジハードウェア上で最大56倍の高速化を達成し、平均で7倍の高速化を実現。剪定と量子化を組み合わせることで、さらなる33倍の高速化も可能となる。

ABSTRACT

Deep neural networks (DNNs) have inspired new studies in myriad edge applications with robots, autonomous agents, and Internet-of-things (IoT) devices. However, performing inference of DNNs in the edge is still a severe challenge, mainly because of the contradiction between the intensive resource requirements of DNNs and the tight resource availability in several edge domains. Further, as communication is costly, taking advantage of other available edge devices by using data- or model-parallelism methods is not an effective solution. To benefit from available compute resources with low communication overhead, we propose the first DNN parallelization method for reducing the communication overhead in a distributed system. We propose a low-communication parallelization (LCP) method in which models consist of several almost-independent and narrow branches. LCP offers close-to-minimum communication overhead with better distribution and parallelization opportunities while significantly reducing memory footprint and computation compared to data- and model-parallelism methods. We deploy LCP models on three distributed systems: AWS instances, Raspberry Pis, and PYNQ boards. We also evaluate the performance of LCP models on a customized hardware (tailored for low latency) implemented on a small edge FPGA and as a 16mW 0.107mm2 ASIC @7nm chip. LCP models achieve a maximum and average speedups of 56x and 7x, compared to the originals, which could be improved by up to an average speedup of 33x by incorporating common optimizations such as pruning and quantization.

研究の動機と目的

• IoT機器、ロボット、ドローンなどのリソース制約のあるエッジデバイスにおける、効率的な深層ニューラルネットワーク（DNN）推論の実現に挑む。
• 従来のデータ並列化およびモデル並列化手法には、エッジ環境において通信オーバーヘッドが高く、スケーラビリティに欠けるという限界があるため、それを克服する。
• 通信量を最小限に抑え、各ノードのメモリ使用量と計算量を低減しつつ、複数のエッジデバイスに効果的にDNN推論を分散できるようにする。
• 既存の最適化技術（例：剪定、量子化）と直交するように設計し、エッジデプロイメントにおけるそれらの有効性を高める。

提案手法

• 1つの広く深いDNNを、並列に異なる特徴表現を処理する複数の細く独立したブランチに分割する。
• 通信を入力データと最終層の直前までの活性化値に限定することで、従来のモデル並列化と比較して、デバイス間のデータ転送量を著しく削減する。
• 分割後にわずかにブランチを太らせる再最適化により、元のモデルとほぼ同等の精度を維持しつつ、合計パラメータ数を削減する。
• 重みと活性化を連続的でストリーミングアクセスに適した順序に再配置するメモリレイアウトの前処理ステップを導入し、計算とデータ転送を重ね合わせる。
• AWS、ラズベリーパイ、PYNQ FPGAs、および独自開発の7nm ASICを含む多様なプラットフォームにLCPアーキテクチャを実装し、移植性と効率性を実証した。
• FPGAおよびASIC上でシスチルアレイハードウェアアクセラレータを活用し、エッジ推論における遅延とエネルギー効率をさらに最適化した。

実験結果

リサーチクエスチョン

• RQ1 複数のエッジデバイスに跨る並列処理を可能にしつつ、通信オーバーヘッドを最小限に抑えるDNN推論手法を設計できるか？
• RQ2 LCP手法は、エッジプラットフォームにおいて、データ並列化およびモデル並列化と比較して、通信、メモリ、計算オーバーヘッドの点でどのように異なるか？
• RQ3 LCPは、モデルの精度を維持または回復させつつ、各デバイスのメモリおよび計算フットプリントをどの程度削減できるか？
• RQ4 LCPは、低消費電力FPGAやASICを含む異種エッジシステムに効果的にデプロイ可能であり、測定可能なパフォーマンス向上を達成できるか？
• RQ5 LCPを既存の最適化技術（例：剪定、量子化）と組み合わせた場合、推論の高速化およびエネルギー効率にどのような影響を与えるか？

主な発見

• LCPは、ラズベリーパイ、AWS、PYNQボードを含むエッジプラットフォーム上において、元のDNNと比較して最大56倍、平均7倍の高速化を達成した。
• 剪定と量子化と組み合わせた場合、LCPモデルの平均高速化率は33倍に向上し、既存のモデル圧縮技術と強い相乗効果を示した。
• わずかなアーキテクチャ的拡張にもかかわらず、再最適化（太らせる処理）後のモデルで、元のネットワークと比較して合計パラメータ数が削減された。
• ブランチの独立性のおかげで、層間並列処理が可能である。これに対して、従来のモデル並列化は、順序依存性のため、層内並列処理に限定される。
• 独自開発の7nm ASICでは、16mWの消費電力とたった0.107mm²のチップ面積を達成し、高いエネルギー効率と面積効率を示した。
• LCP設計は、連続的データレイアウトにより効率的なメモリアクセスを可能にし、データ転送と計算を重ね合わせることで、メモリウォール効果を緩和した。