[論文レビュー] Parallel Complexity of Forward and Backward Propagation

Maxim Naumov|arXiv (Cornell University)|Dec 18, 2017

Neural Networks and Applications参考文献 26被引用数 6

ひとこと要約

この論文は、ニューラルネットワークにおけるフォワードおよびバックワード伝播を、下三角および上三角連立一次方程式の解法として定式化し、直接法および反復法を用いた新たな並列アルゴリズムを可能にする。FNNおよびRNNの文脈で、バックワード伝播がそれぞれO(log k)およびO(log k log τ)ステップで並列化可能であることを証明し、標準的な逐次計算を超えたモデル並列化の一般枠組みを提供する。

ABSTRACT

We show that the forward and backward propagation can be formulated as a solution of lower and upper triangular systems of equations. For standard feedforward (FNNs) and recurrent neural networks (RNNs) the triangular systems are always block bi-diagonal, while for a general computation graph (directed acyclic graph) they can have a more complex triangular sparsity pattern. We discuss direct and iterative parallel algorithms that can be used for their solution and interpreted as different ways of performing model parallelism. Also, we show that for FNNs and RNNs with $k$ layers and $τ$ time steps the backward propagation can be performed in parallel in O($\log k$) and O($\log k \log τ$) steps, respectively. Finally, we outline the generalization of this technique using Jacobians that potentially allows us to handle arbitrary layers.

研究の動機と目的

• ニューラルネットワークにおけるフォワードおよびバックワード伝播を、三角行列連立一次方程式の解法として再定式化すること。
• 直接法および反復法を用いた、これらの行列系に対する並列アルゴリズムの開発。
• 提案された並列スキームの時間計算量、作業量、メモリ使用量の複雑性の分析。
• 並列アルゴリズムが実用的に効率的になる条件の確立。
• ヤコビアンを用いて、任意の計算グラフおよび任意のレイヤー型に一般化する枠組みの構築。

提案手法

• 計算グラフから導かれる下三角および上三角行列系として、フォワードおよびバックワード伝播を表現する。
• FNNおよびRNNにおけるブロックバイダイアゴナル三角行列系の解法を並列化するために、循環削減の変種を適用する。
• 再帰的因子分解に基づく直接法を用い、FNNおよびRNNそれぞれに対してO(log k)およびO(log k log τ)の並列ステップを達成する。
• ヤコビ法やBiCGStabなどの反復解法を用いて近似解を得ることで、メモリ効率の高い並列化を実現する。
• さまざまな数値線形代数的手法を、異なる形のモデル並列化として解釈する。
• ヤコビアン行列を用いることで、任意のレイヤーに枠組みを一般化し、複雑または非微分可能な演算への適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおけるフォワードおよびバックワード伝播を、三角行列連立一次方程式の解法として体系的に定式化できるか？
• RQ2 標準的なFNNおよびRNNにおけるバックワード伝播の理論的並列計算複雑度は何か？
• RQ3 直接法および反復法をどのように変更することで、ディープラーニングにおけるモデル並列化を実現できるか？
• RQ4 提案された並列アルゴリズムが実際のシナリオで逐次バックプロパゲーションを上回る条件は何か？
• RQ5 この枠組みは、標準的なフィードフォワードおよび再帰的アーキテクチャを超えて、任意のレイヤーおよび計算グラフに一般化可能か？

主な発見

• k層からなるフィードフォワードニューラルネットワークにおけるバックワード伝播は、直接法を用いることでO(log k)ステップで並列化可能である。
• τステップを持つ再帰的ニューラルネットワークでは、バックワード伝播がO(log k log τ)ステップで並列化可能である。
• 並列アルゴリズムは、逐次バックプロパゲーションの最大2倍のメモリを要するが、メモリ効率が良い。
• ヤコビアン行列を用いることで、任意のレイヤーに一般化可能であり、複雑または微分不能なコンponentsへの応用を可能にする。
• 反復法では、O(ln²rη)の時間計算量とO(lnr)のメモリオーバーヘッドを達成し、η < lの条件下で実用的になる。
• ミニバッチサイズr ≥ nまたはl/log l ≥ nの条件下で、計算オーバーヘッドが正当化されるため、アプローチは実用的になる。