[論文レビュー] Fully Decoupled Neural Network Learning Using Delayed Gradients

Huiping Zhuang, Yi Wang+3 more|arXiv (Cornell University)|Jun 21, 2019

Advanced Neural Network Applications参考文献 28被引用数 12

ひとこと要約

本稿では、遅延勾配を用いた完全に分離されたニューラルネットワーク学習（FDG）を提案する。この手法は、バックプロパゲーションにおけるフォワード、バックワード、更新のロックを、ワーカー間で非同期にネットワークモジュールを学習することで解消する。FDGは勾配縮小プロセスを用いて遅延を低減し、CIFAR-10で最大3.20倍、ImageNetで2.72倍の高速化を達成した。深く広いネットワークにおいて、標準的なBPの性能を同等または上回った。

ABSTRACT

Training neural networks with back-propagation (BP) requires a sequential passing of activations and gradients, which forces the network modules to work in a synchronous fashion. This has been recognized as the lockings (i.e., the forward, backward and update lockings) inherited from the BP. In this paper, we propose a fully decoupled training scheme using delayed gradients (FDG) to break all these lockings. The FDG splits a neural network into multiple modules and trains them independently and asynchronously using different workers (e.g., GPUs). We also introduce a gradient shrinking process to reduce the stale gradient effect caused by the delayed gradients. In addition, we prove that the proposed FDG algorithm guarantees a statistical convergence during training. Experiments are conducted by training deep convolutional neural networks to perform classification tasks on benchmark datasets, showing comparable or better results against the state-of-the-art methods as well as the BP in terms of both generalization and acceleration abilities. In particular, we show that the FDG is also able to train very wide networks (e.g., WRN-28-10) and extremely deep networks (e.g., ResNet-1202). Code is available at https://github.com/ZHUANGHP/FDG.

研究の動機と目的

• 標準的なバックプロパゲーションに内在する順序的なロック（フォワード、バックワード、更新）を排除し、学習効率を向上させること。
• 同期的なパスや共有勾配を必要とせず、真のモジュール単位の並列化を可能にすること。
• 高い速度向上を達成しながら、一般化性能を維持または向上させること。
• 先行する局所誤差学習手法とは異なり、追加の可学習パラメータを導入しない方法を開発すること。
• 提案された完全に分離された学習方式の統計的収束を証明すること。

提案手法

• ネットワークを複数の独立したモジュールに分割し、ワーカー（例：GPU）間で非同期に学習することで、順序依存性を排除する。
• 完全なバックワードパスが完了する前に、遅延勾配を用いてパラメータを更新することで、更新とバックワードパスを分離する。
• 遅延更新による古い勾配の悪影響を軽減するため、勾配縮小プロセスを導入する。
• DNI や DGL とは異なり、補助ネットワークや追加の可学習パラメータを導入しないため、モデルの効率性を保つ。
• 理論的分析により、弱い仮定の下でFDGが統計的収束を保証することを証明した。
• 通信は標準プロトコルを用い、NVLinkなどの高速インタコネクトが利用可能であれば性能が向上すると予想される。

実験結果

リサーチクエスチョン

• RQ1 追加の可学習パラメータを導入せずに、深層ニューラルネットワークの完全な分離型学習を達成できるか？
• RQ2 勾配縮小を伴う遅延勾配は、標準的なバックプロパゲーションと比較して一般化性能を維持または向上できるか？
• RQ3 非同期的でモジュール単位の学習が、分散環境で線形スケーリングを達成できる程度は何か？
• RQ4 FDGは、極めて深い（例：ResNet-1202）および非常に広い（例：WRN-28-10）ネットワークにおいてどのように動作するか？
• RQ5 通信オーバーヘッドが、ImageNetのような大規模データセットにおいて、加速に与える影響は何か？

主な発見

• 2 GPUを用いたCIFAR-10では1.88倍の高速化、3 GPUでは2.72倍の高速化を達成し、線形スケーリングに近づいた。
• ResNet-101を用いたImageNetでは、2 GPUで1.68倍の高速化を達成し、高速インタコネクトを活用すればさらなる向上が期待できる。
• 本手法は、非常に広いネットワーク（WRN-28-10）および極めて深いネットワーク（ResNet-1202）を成功裏に学習し、標準的なバックプロパゲーションと同等またはそれ以上の性能を達成した。
• 非同期学習による待機時間の削減のおかげで、FDGはBUベースの手法（例：DDG、FR）よりも高いGPU利用率を達成した。
• 勾配縮小プロセスにより、特に深いネットワークにおいて一般化性能が向上し、遅延勾配の悪影響が軽減された。
• 高速インタコネクトが利用できない場合、大規模データセットでは通信コストが支配的となり、3 GPUを超えると高速化の向上が制限された。