[論文レビュー] Communication-Optimal Convolutional Neural Nets

James Demmel, Grace Dinh|arXiv (Cornell University)|Feb 19, 2018

Stochastic Gradient Optimization Techniques参考文献 13被引用数 18

ひとこと要約

この論文は、データ移動の下界を厳密に導出し、それらに達するループ再組織化およびタイリング手法を設計することで、畳み込みニューラルネットワーク（CNNs）の通信最適化アルゴリズムを提示する。CNN計算における問題固有の構造を活用することで、行列乗算よりも最大2.75倍の高いデータ再利用度を実現し、現代のアーキテクチャにおいて通信コストを低減する。

ABSTRACT

Efficiently executing convolutional neural nets (CNNs) is important in many machine-learning tasks. Since the cost of moving a word of data, either between levels of a memory hierarchy or between processors over a network, is much higher than the cost of an arithmetic operation, minimizing data movement is critical to performance optimization. In this paper, we present both new lower bounds on data movement needed for CNNs, and optimal sequential algorithms that attain these lower bounds. In most common cases, our optimal algorithms can attain significantly more data reuse than matrix multiplication.

研究の動機と目的

• 算術演算に比べて通信コストが高いことが原因で生じるCNNの性能ボトルネックを解消すること。
• 実装詳細に依存しない、畳み込み層およびプーリング層におけるデータ移動の根本的下界を同定すること。
• すべての一般的なCNNハイパーパrameter設定において、これらの下界に到達する最適なループ再配置およびタイリング戦略を設計すること。
• 並列環境および実世界のモデル（例：AlexNet）への分析を拡張し、実用的な通信コスト削減を示すこと。
• 形式化された最適化手法を基盤として、コンパイラにおける自動通信最適化コード生成の基盤を築くこと。

提案手法

• 関数解析、群論、格子論の高度な数学的道具を用いて、新たな通信下界を導出する。
• 高速メモリ容量（キャッシュサイズ M）を制約として、ループタイルサイズ上の線形計画問題（LP）として最適タイリング問題を定式化する。
• すべてのパrameterの組み合わせに対して、LP定式化において実行可能解が存在することを示し、下界が常に達成可能であることを証明する。
• 非線形タイリング最適化を扱いやすくするため、対数変換を用いて線形計画問題に変換する。
• ストライドパラメータおよび複数のメモリレベルを含める一般化により、実世界のCNNワークロードの分析が可能になる。
• プーリング層への応用を拡張し、共有メモリを持つ分散マルチプロセッサシステムへのインパクトを議論する。

実験結果

リサーチクエスチョン

• RQ1 任意の次元およびキャッシュサイズ M が与えられた場合、CNN の畳み込み層を計算するために理論的に必要な最小データ移動量はどのくらいか？
• RQ2 この下界は、ループおよびデータアクセスパターンのアルゴリズム的再配置によって実際の実装で達成可能か？
• RQ3 最適CNNアルゴリズムにおけるデータ再利用度は、標準的な行列乗算（密度の高い線形代数演算の代表例）と比べてどう異なるか？
• RQ4 これらの下界およびアルゴリズムは、AlexNet などの実世界のディープラーニングモデルにどのようなインパクトを与えるか？
• RQ5 提案手法は、コンパイラにおける任意のネストされたループネストの通信効率を自動最適化するために一般化可能か？

主な発見

• 論文は、入力次元、フィルターサイズ、ストライド、キャッシュサイズ M を含む5つの式の最大値として、CNN における新しい通信下界を確立する。
• 特に小さなフィルターサイズと限られたキャッシュサイズの場合、下界の5番目の項 $ BCKWH(RS\frac{\rho}{M})^{1/2} $ が支配的となり、最小通信コストを表す。
• 提案された最適アルゴリズムは、行列乗算に比べて最大2.75倍の高いデータ再利用度を達成し、通信量を顕著に削減する。
• 実世界のモデル（例：AlexNet）では、M が小さい場合（例：L1/L2キャッシュサイズ）に、行列乗算ベースのアプローチに比べて整数倍の通信コスト削減が可能になる。
• タイリングの線形計画問題定式化は、常に実行可能であり、すべてのパrameter領域で理論的下界が保証される。
• 共有メモリを持つ並列環境へも一般化可能であり、プロセッサ数および問題分割に応じて通信コストが最適にスケーリングされる。