[論文レビュー] BrainSlug: Transparent Acceleration of Deep Learning Through Depth-First Parallelism

Nicolas Weber, Florian Schmidt+2 more|arXiv (Cornell University)|Apr 23, 2018

Advanced Neural Network Applications参考文献 17被引用数 7

ひとこと要約

BrainSlug は、ニューラルネットワークの計算を幅優先から深さ優先処理に再順序付けすることにより、データの局所性を向上させ、キャッシュミスを削減することで、ディープラーニングの推論および学習を高速化する。モデルアーキテクチャの変更なしに最小限のコード変更で、CPU で最大 41.1%、GPU で最大 35.7% の高速化を達成し、標準的なハードウェア上で透明なパフォーマンス向上を実現する。

ABSTRACT

Neural network frameworks such as PyTorch and TensorFlow are the workhorses of numerous machine learning applications ranging from object recognition to machine translation. While these frameworks are versatile and straightforward to use, the training of and inference in deep neural networks is resource (energy, compute, and memory) intensive. In contrast to recent works focusing on algorithmic enhancements, we introduce BrainSlug, a framework that transparently accelerates neural network workloads by changing the default layer-by-layer processing to a depth-first approach, reducing the amount of data required by the computations and thus improving the performance of the available hardware caches. BrainSlug achieves performance improvements of up to 41.1% on CPUs and 35.7% on GPUs. These optimizations come at zero cost to the user as they do not require hardware changes and only need tiny adjustments to the software.

研究の動機と目的

• 従来の幅優先処理によるデータの局所性の悪さとキャッシュのフラッシュが原因で生じるディープニューラルネットワークの推論および学習におけるパフォーマンスボトルネックを解消すること。
• ハードウェアの変更やモデルアーキテクチャの変更なしに、標準的な CPU および GPU 上でディープラーニングワークロードを透明に高速化すること。
• PyTorch や TensorFlow などの複数のディープラーニングフレームワークおよび CPU、GPU、FPGA などの複数のハードウェアバックエンドをサポートする拡張可能な API を備えたモジュラーなフレームワークを構築すること。
• 入力データのサブセットを深さ優先順に処理することで計算を最適化し、キャッシュの利用効率を向上させ、重複するメモリアクセスを削減すること。
• 多様なネットワークアーキテクチャおよびバッチサイズを対象に評価し、実際の展開シナリオにおける実用的パフォーマンス向上に焦点を当てる。

提案手法

• 標準的な層ごとの幅優先処理を、小さなキャッシュフレンドリーな入力データサブセットに対してすべての層を処理する深さ優先走査に置き換える。
• 最終出力に影響を与えない部分的な入力テンソル上で計算可能な最適化可能な層（特に要素演算およびプーリング層）を特定・グループ化する。
• ディープラーニングフレームワーク用のプラグイン可能フロントエンドとハードウェアターゲット用のバックエンドを備えたモジュラーなランタイムシステムを採用し、透明な統合を実現する。
• 連続する非畳み込み層を小さなデータチャンク上で処理するスタッキング技術を適用し、メモリ帯域幅の圧力を軽減するとともにキャッシュ再利用を向上させる。
• 軽量なコード変換およびカーネルフュージョン戦略を採用し、数値的正確性を保持したまま高いパフォーマンスを維持する。
• バックプロパゲーションワークフローへの同一の深さ優先実行モデルの拡張により、推論に加え、将来の学習高速化も可能にする。

実験結果

リサーチクエスチョン

• RQ1 深さ優先処理戦略は、ディープニューラルネットワークの推論において、データの局所性を著しく向上させ、キャッシュミスを削減できるか？
• RQ2 データ分割に基づく非侵襲的最適化によって、標準的な CPU および GPU 上でどの程度のパフォーマンス向上が達成できるか？
• RQ3 どの層タイプが深さ優先処理に適しており、どの層がデータ依存性や計算パターンのため本質的に不適合であるか？
• RQ4 BrainSlug のパフォーマンス向上は、異なるバッチサイズ、ネットワークアーキテクチャ、ハードウェアプラットフォームでどのように変化するか？
• RQ5 同様のパフォーマンス向上を達成できるように、フレームワークを学習ワークロードに拡張できるか？

主な発見

• BrainSlug は、さまざまなディープラーニングモデルにおいて、CPU で最大 41.1%、GPU で最大 35.7% の高速化を達成した。
• パフォーマンス向上は、バッチサイズが 8 以上の場合に顕著であり、実際の用途で一般的に使用される 32 バッチサイズなど、実用的なシナリオで顕著である。
• この手法はユーザーに対して透明であり、モデルの振る舞いやアーキテクチャを変更せずに、最小限のコード変更（PyTorch フロントエンド用に Python 270 行、C++ 438 行）で実現できる。
• 畳み込み層および線形層は、ベクトル化演算における本質的なデータオーバーラップや再利用性の欠如のため、深さ優先アプローチの恩恵を受けない。
• フレームワークは拡張可能で、新規フロントエンド（例：TensorFlow）や新規バックエンド（例：FPGA やベクトルプロセッサ）の統合が、洗練された API デザインにより容易に可能である。
• 今後の作業では、学習ワークロードに対しても同様の高速化が可能である可能性が示唆されており、バックプロパゲーションおよび追加のハードウェアターゲットへのフレームワーク拡張が進行中である。