[論文レビュー] Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving

Yang Song, Chenlin Meng+2 more|arXiv (Cornell University)|Feb 10, 2020

Model Reduction and Neural Networks参考文献 30被引用数 5

ひとこと要約

本論文では、ニューラルネットワークおよび自己回帰モデルにおける順方向計算を、並列化可能なヤコビおよびガウス・ザイデル固定点反復法を用いた非線形方程式系の解法に再定式化することにより、高速化する新規手法を提案する。この手法により、自己回帰的サンプリングでは最大26倍の高速化が達成され、RNN学習では2倍以上が達成された。順方向計算の逐次的処理を並列実行可能にしつつ、最小限の誤差許容範囲で正確な出力を維持することができる。

ABSTRACT

Feedforward computation, such as evaluating a neural network or sampling from an autoregressive model, is ubiquitous in machine learning. The sequential nature of feedforward computation, however, requires a strict order of execution and cannot be easily accelerated with parallel computing. To enable parallelization, we frame the task of feedforward computation as solving a system of nonlinear equations. We then propose to find the solution using a Jacobi or Gauss-Seidel fixed-point iteration method, as well as hybrid methods of both. Crucially, Jacobi updates operate independently on each equation and can be executed in parallel. Our method is guaranteed to give exactly the same values as the original feedforward computation with a reduced (or equal) number of parallelizable iterations, and hence reduced time given sufficient parallel computing power. Experimentally, we demonstrate the effectiveness of our approach in accelerating (i) backpropagation of RNNs, (ii) evaluation of DenseNets, and (iii) autoregressive sampling of MADE and PixelCNN++, with speedup factors between 2.1 and 26 under various settings.

研究の動機と目的

• ニューラルネットワークおよび自己回帰モデルにおける順方向計算の本質的逐次的ボトルネックを解消し、並列化の可能性を拡大すること。
• 非線形方程式の数値的解法を活用して、従来逐次的とされていた順方向処理を並列化すること。
• RNN学習、DenseNet推論、自己回帰的サンプリングを含む多様な機械学習ワークロードに適用可能な汎用的手法を開発すること。
• 理論的な並列性ではなく、標準的なハードウェアを用いた実世界のモデルで実用的な高速化を示すこと。
• 反復的解法における早期停止を用いて、近似誤差と計算時間のトレードオフを調査すること。

提案手法

• 各レイヤーまたはステップが1つの方程式に対応する上三角型非線形方程式系に、順方向計算を再定式化する。
• ヤコビ固定点反復法を適用し、すべての変数を独立に更新することで、方程式間の完全な並列化を実現する。
• ガウス・ザイデル反復法をベースラインとして用い、方程式を逐次的に処理することで、標準的な順方向計算と正確に一致させる。
• ヤコビとガウス・ザイデル反復法を組み合わせたハイブリッド手法を開発し、並列性と収束品質のバランスを図る。
• 反復的解法が次第に高精度な近似を生成することを活用し、収束を早期に停止させることで、精度と速度のトレードオフを実現する。
• 数値継続法および緩和技術を用いて、非線形系における収束性と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークおよび自己回帰モデルにおける順方向計算を、非線形方程式の解法に再定式化することで、並列化による高速化が可能か？
• RQ2 本質的に並列なヤコビ型反復法が、標準的な逐次的順方向計算とどの程度の精度を達成できるか？
• RQ3 ヤコビとガウス・ザイデルのハイブリッド手法は、純粋なヤコビまたはガウス・ザイデル手法に比べ、速度と精度の面でどのように向上するか？
• RQ4 本手法により、RNN、DenseNet、自己回帰モデルといった実世界のモデルで、どの程度の実用的高速化が達成可能か？
• RQ5 構造的依存関係や実装のオーバーヘッドのため、本手法が失敗または性能を発揮しない状況はどのようなものか？

主な発見

• 本手法により、CIFAR-10データセット上のMADEからの逐次的サンプリングで最大26倍の高速化が達成された（単一GPU使用）。
• PixelCNN++のサンプリングでは、MNISTで6.5倍、CIFAR-10で2.1倍の高速化が達成された。
• RNN学習では、学習時間を2倍以上短縮し、誤反復伝搬処理における顕著な高速化が確認された。
• DenseNet推論では、ヤコビ法により推定で2.1倍の高速化が得られたが、実装制約のためシミュレーションによる検証にとどまった。
• ハイブリッドヤコビ・ガウス・ザイデル手法は、単純なヤコビ法やキャッシュ付き順方向計算よりも優れた性能を示し、特にキャッシュが有効な場合に顕著であった。
• 本手法は、順次段階間の依存関係が弱く、わずかな数値誤差に耐えられる状況で最も効果的である。