[論文レビュー] Decoupled Greedy Learning of CNNs

Eugene Belilovsky, Michael Eickenberg+1 more|arXiv (Cornell University)|Jan 23, 2019

Advanced Neural Network Applications参考文献 36被引用数 31

ひとこと要約

本稿では、緩和された目的関数を用いて畳み込みニューラルネットワーク（CNN）の各層を独立して学習する、分離型グリーディ学習（DGL）を提案する。これにより、最適化とリプレイバッファを用いた分離型最適化とリプレイにより、完全な更新とフォワードアンロックが可能となり、CIFAR-10およびImageNetにおいて最先端の性能を達成する。訓練遅延に対してもスケーラビリティとロバスト性に優れ、誤差逆伝搬法やDNIなどの代替手法を上回る。

ABSTRACT

A commonly cited inefficiency of neural network training by back-propagation is the update locking problem: each layer must wait for the signal to propagate through the full network before updating. Several alternatives that can alleviate this issue have been proposed. In this context, we consider a simpler, but more effective, substitute that uses minimal feedback, which we call Decoupled Greedy Learning (DGL). It is based on a greedy relaxation of the joint training objective, recently shown to be effective in the context of Convolutional Neural Networks (CNNs) on large-scale image classification. We consider an optimization of this objective that permits us to decouple the layer training, allowing for layers or modules in networks to be trained with a potentially linear parallelization in layers. With the use of a replay buffer we show this approach can be extended to asynchronous settings, where modules can operate with possibly large communication delays. We show theoretically and empirically that this approach converges. Then, we empirically find that it can lead to better generalization than sequential greedy optimization. We demonstrate the effectiveness of DGL against alternative approaches on the CIFAR-10 dataset and on the large-scale ImageNet dataset.

研究の動機と目的

• 誤差逆伝搬法における深層CNNの非効率性、特に更新ロックとフォワードロックの問題を解消し、並列化を妨げる要因を是正すること。
• DNIのような勾配ベースの手法の代替として、複雑な補助ネットワークやフィードバック依存性を回避する、より単純で効果的な手法を開発すること。
• 層間の最適化プロセスを分離することで、層の学習を真正に並列化すること。
• リプレイバッファを用いて、通信遅延が大きな非同期設定にも対応し、スケーラブルな学習を実現すること。
• 分離型グリーディ学習が、ImageNetのような大規模データセットにおいて、標準的な誤差逆伝搬法と同等またはそれを上回る性能を発揮できることを示すこと。

提案手法

• 結合学習目的関数のグリーディな緩和を提案し、後続層からのフィードバックを待たずに各層を独立して学習可能にする。
• 上流モジュールへの依存を排除することで、更新ロックを解消する分離型最適化手順を導入する。
• 過去の活性化値とラベルを格納するリプレイバッファを活用し、大きな通信遅延が生じる非同期学習を可能にする。
• 二段階の最適化を採用：第一段階では、各層の出力とターゲットを用いて局所的目的関数で学習；第二段階では、リプレイバッファから計算された代替勾配を用いてパラメータを更新する。
• 同期的および非同期的設定の両方で手法を適用し、やや弱い仮定のもとで理論的収束保証を提示する。
• モデル並列化にも応用可能であり、データ並列化と自然に組み合わせられ、大規模モデルにおけるスケーラブルな学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 グリーディで分離型の最適化戦略は、CNNにおける標準的な誤差逆伝搬法と同等またはそれ以上の性能を達成できるか？
• RQ2 層の学習を分離することで、更新ロックとフォワードロックが解消され、真正の並列化が可能になるか？
• RQ3 リプレイバッファを用いることで、大きな通信遅延が生じる非同期学習においてもロバストな性能が得られるか？
• RQ4 DGLは、DNIやその他の代替手法と比較して、精度、スケーラビリティ、ハイパーパrameterへの安定性において優れているか？
• RQ5 DGLは、過去の代替手法が失敗した大規模データセット（例：ImageNet）に対してもスケーリング可能か？

主な発見

• CIFAR-10においてDGLは、標準的な誤差逆伝搬法およびDNIを上回る精度と学習安定性を達成し、最先端の性能を発揮した。
• ImageNetデータセットにおいて、DGLはより深く、より大きなモデルへのスケーリングを実現し、誤差逆伝搬法とは異なる手法であるにもかかわらず、競争力のある精度を達成した。
• ハイパーパrameterの選択や訓練遅延に対してロバストであり、非同期DGLは大きな通信遅延下でも性能を維持した。
• 理論的分析により、DGLが標準的な非凸最適化の収束速度に達することが確認され、その実験的成功の裏付けが得られた。
• リプレイバッファによりフォワードアンロックが実現され、先行モジュールを待たずにモジュールが非同期で動作可能となり、学習スループットが顕著に向上した。
• DGLは、並列化効率とスケーラビリティの点で、既存の代替手法を上回り、生物学的に妥当な学習および分散学習分野における今後の研究の強力なベースラインである。