[論文レビュー] Espresso: Efficient Forward Propagation for BCNNs

Fabrizio Pedersoli, George Tzanetakis+1 more|arXiv (Cornell University)|May 19, 2017

Advanced Neural Network Applications参考文献 21被引用数 10

ひとこと要約

Espressoは、ビットパッケージングと最適化されたCUDAカーネルを用いて、バイナリ畳み込みニューラルネットワーク（BCNNs）の順方向伝搬を高速化する、依存関係のない軽量なC/CUDAライブラリである。バイナリ最適化された畳み込み層および全結合層を可能にすることで、CPU比で最大85倍、標準GPU実装比で16倍の高速化を達成し、メモリ使用量を最大31倍まで削減する。CPUおよびGPUでのデプロイメントを最小限のオーバーヘッドでサポートする。

ABSTRACT

There are many applications scenarios for which the computational performance and memory footprint of the prediction phase of Deep Neural Networks (DNNs) needs to be optimized. Binary Neural Networks (BDNNs) have been shown to be an effective way of achieving this objective. In this paper, we show how Convolutional Neural Networks (CNNs) can be implemented using binary representations. Espresso is a compact, yet powerful library written in C/CUDA that features all the functionalities required for the forward propagation of CNNs, in a binary file less than 400KB, without any external dependencies. Although it is mainly designed to take advantage of massive GPU parallelism, Espresso also provides an equivalent CPU implementation for CNNs. Espresso provides special convolutional and dense layers for BCNNs, leveraging bit-packing and bit-wise computations for efficient execution. These techniques provide a speed-up of matrix-multiplication routines, and at the same time, reduce memory usage when storing parameters and activations. We experimentally show that Espresso is significantly faster than existing implementations of optimized binary neural networks ($\approx$ 2 orders of magnitude). Espresso is released under the Apache 2.0 license and is available at http://github.com/fpeder/espresso.

研究の動機と目的

• モバイルおよび組み込みデバイスにDNNをデプロイする際の高いメモリおよび計算コストに対処すること。
• 最小限のメモリフットプリントと最大の速度を実現する、バイナリ畳み込みニューラルネットワーク（BCNNs）における効率的な推論を可能にすること。
• CPUおよびGPUデプロイメントを両方サポートする、自己完結的で依存関係のないフレームワークを提供すること。
• 従来のBDNNフレームワークが全結合層のみ最適化していたという制限を克服すること。
• 入力が非バイナリである第1層に対してもバイナリ最適化を効果的に適用できるように、入力をビットプレーンに分割することで、全体の推論性能を向上させること。

提案手法

• ネットワーク読み込み時に一度だけビットパッケージングを実行する、特別に設計されたバイナリ最適化畳み込み層および全結合層を設計し、繰り返しの計算を削減する。
• ビット単位の演算と最適化されたメモリアクセスパターンを用いた、マトリクス乗算を高速化するカスタムCUDAカーネルを実装する。
• ビットパッケージング技術を用いて、バイナリ重みおよび活性化を効率的に格納し、メモリ使用量を最大31倍まで削減する。
• 入力特徴量を8ビットプレーンに分割し、重み付き和で再結合することで、バイナリ計算を可能にする、画期的な第1層最適化を適用する。
• バッチサイズが1の場合に、標準的な行列-ベクトル乗算を最適化された行列-行列カーネル（例：sgemv）に置き換えることで、パフォーマンスを向上させる。
• メモリ効率の良いメモリ割り当てとメモリコalescingを統合し、GPUの遅延を最小限に抑え、スループットを最大化する。

実験結果

リサーチクエスチョン

• RQ1 軽量で依存関係のないフレームワークは、CPUおよびGPU上でBCNNの最先端の推論速度を達成できるか？
• RQ2 ビットパッケージングとビット単位の計算は、BCNNにおけるメモリ使用量の削減とマトリクス乗算の高速化にどの程度効果的か？
• RQ3 非バイナリ入力を処理するCNNの第1層に対しても、バイナリ最適化を効果的に適用できるか？
• RQ4 従来の実装と比較して、BCNNの畳み込み層および全結合層の両方を最適化することで、どの程度のパフォーマンス向上が達成できるか？
• RQ5 最適化されたカーネル、メモリアクセス、ビットパッケージングの組み合わせが、BCNNの推論速度とメモリフットプリントにどのように影響するか？

主な発見

• GPU最適化実装を用いたCIFAR-10では1.0msの推論時間となり、CPU比で85倍、標準GPU実装比で16倍の高速化を達成した。
• GPU最適化実装により、畳み込み層のメモリ使用量が53.54MBから1.73MBにまで削減され、31倍のメモリ削減を達成した。
• 第1層のバイナリ最適化により、入力のビットプレーン上でバイナリ計算を可能にしたことで、3倍のパフォーマンス向上を達成した。
• 最適化されたCUDAカーネルにより、標準GPU実装と比較してビットパッケージングのオーバーヘッドが5倍まで削減され、メモリコalescingの面でも顕著な向上が得られた。
• Espressoの最適化された行列乗算カーネルは、適切な状況で行列-行列演算に切り替えることで、最大15％の追加パフォーマンス向上を達成した。
• フレームワークは自己完結的で、サイズは400KB未満、Apache 2.0ライセンスで公開されており、組み込みおよびモバイルプラットフォームへの容易なデプロイメントを可能にしている。