[論文レビュー] Training Neural Networks Using Features Replay.

Zhouyuan Huo, Bin Gu+1 more|arXiv (Cornell University)|Jan 1, 2018

Machine Learning and ELM被引用数 38

ひとこと要約

本論文では、誤反転伝播の並列化を可能にする新しい並列的目標関数である Features Replay を提案する。収束を臨界点に保証し、メモリ使用量を削減することで、従来の手法と比較してより高速な収束、低いメモリ消費量、および改善された汎化誤差を達成する。

ABSTRACT

Training a neural network using backpropagation algorithm requires passing error gradients sequentially through the network. The backward locking prevents us from updating network layers in parallel and fully leveraging the computing resources. Recently, there are several works trying to decouple and parallelize the backpropagation algorithm. However, all of them suffer from severe accuracy loss or memory explosion when the neural network is deep. To address these challenging issues, we propose a novel parallel-objective formulation for the objective function of the neural network. After that, we introduce features replay algorithm and prove that it is guaranteed to converge to critical points for the non-convex problem under certain conditions. Finally, we apply our method to training deep convolutional neural networks, and the experimental results show that the proposed method achieves {faster} convergence, {lower} memory consumption, and {better} generalization error than compared methods.

研究の動機と目的

• 深層ニューラルネットワークにおける誤反転伝播の逐次的依存性が、並列処理および効率的なリソース利用を制限する問題に対処すること。
• 深層ネットワークを学習する際、従来の並列的誤反転伝播手法で一般的に見られる顕著な精度の低下とメモリの爆発を克服すること。
• 非凸問題において臨界点への収束を保証する理論的裏付けのある、並列処理可能な学習目的関数を開発すること。
• モデルの汎化性能を維持または向上させながら、学習中のメモリ消費量を低減すること。

提案手法

• 層間の勾配計算を分離できるように、ニューラルネットワークの目的関数の新しい並列的目標関数を提案する。
• 中間特徴表現を再び利用する Features Replay アルゴリズムを導入し、ネットワーク層の独立的かつ並列的な更新を可能にする。
• 特定の条件下で臨界点への収束を証明し、非凸最適化問題における理論的信頼性を確保する。
• 特徴再利用を活用することで、完全なバックワードパスの保存を回避し、大幅なメモリオーバーヘッド削減を実現する。
• 層ごとの更新を逐次的誤反転伝播に依存しないように学習プロセスを設計し、GPU の効率的利用を可能にする。
• 再利用された特徴を通じて勾配フローを保持することで、従来の並列手法で見られる性能劣化を回避し、モデルの精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク学習のための並列的目標関数は、非凸設定において臨界点への収束を達成できるか？
• RQ2 提案手法は、モデルの精度を損なわずに誤反転伝播中のメモリ消費量を低減できるか？
• RQ3 Features Replay アルゴリズムは、標準的誤反転伝播および既存の並列手法と比較して、より高速な収束を実現できるか？
• RQ4 深層畳み込みニューラルネットワークにおいて、この手法はベースライン手法よりも優れた汎化性能を示せるか？
• RQ5 非常に深いネットワークに適用した場合、この手法はスケーラブルかつ安定性を保てるか？

主な発見

• Features Replay アルゴリズムは、標準的誤反転伝播および既存の並列手法と比較して、より高速な収束を達成する。
• 完全なバックワードパスの保存要件が排除されたことにより、メモリ消費量が顕著に削減される。
• 深層畳み込みニューラルネットワークにおいて、ベースライン手法と比較してより優れた汎化誤差を示す。
• 理論的分析により、指定された条件下で臨界点への収束が確認され、手法の安定性が裏付けられる。
• 実験結果から、複数の深層学習ベンチマークで一貫した性能向上が得られ、トレーニング速度およびメモリ効率の向上が明確に測定された。