[論文レビュー] meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting

Xu Sun, Xuancheng Ren+2 more|arXiv (Cornell University)|Jun 19, 2017

Neural Networks and Applications参考文献 27被引用数 84

ひとこと要約

meProp はバックプロパゲーションの勾配を上位 k の大きさ要素のみ保持することでスパース化し、各ステップで小さなウェイトのサブセットのみを更新し、 LSTM/MLP モデルとタスク全体でしばしば精度向上を達成しつつ大幅なスピードアップを実現します（更新されるウェイトは 1–4%）。

ABSTRACT

We propose a simple yet effective technique for neural network learning. The forward propagation is computed as usual. In back propagation, only a small subset of the full gradient is computed to update the model parameters. The gradient vectors are sparsified in such a way that only the top-$k$ elements (in terms of magnitude) are kept. As a result, only $k$ rows or columns (depending on the layout) of the weight matrix are modified, leading to a linear reduction ($k$ divided by the vector dimension) in the computational cost. Surprisingly, experimental results demonstrate that we can update only 1-4% of the weights at each back propagation pass. This does not result in a larger number of training iterations. More interestingly, the accuracy of the resulting models is actually improved rather than degraded, and a detailed analysis is given. The code is available at https://github.com/lancopku/meProp

研究の動機と目的

• バックプロパゲーションのコストを犠牲にすることなく、ニューラルネットワークの訓練を高速化する動機づけ。
• バックプロパゲーションの更新をスパース化するための Top-k 勾配選択機構を導入する。
• 少しのパラメータ更新で、さまざまなモデルやタスクで一般化性能と訓練効率を向上させることを示す。

提案手法

• 前方伝播を通常通り計算する。
• 出力に対する勾配の大きさ成分の上位 k のみを用いてバックプロパゲーションを行い、それ以外を0にする。
• 上位 k の勾配に影響を受ける対応するパラメータ（行/列）のサブセットのみを更新する。
• 時間計算量 O(n log k) 且つ空間 O(k) のミニヒープを用いた Top-k 選択。
• 隠れ層に meProp を適用（出力層でない場合が多い）し、層ごとに異なる k を議論する。
• 最適化手法（Adam, AdaGrad）に依存しないことを示し、LSTM/MLP、POS tagging、パース、MNIST で CPU/GPU 上の速度向上を示す。

実験結果

リサーチクエスチョン

• RQ1 トップ k 勾配成分だけを用いたバックプロパゲーションのスパース化は、精度を損なうことなく計算コストを削減できるか？
• RQ2 トップ-k meProp は、異なるアーキテクチャやタスクにおいて訓練速度と収束にどのような影響を与えるか？
• RQ3 観察される精度向上は、ドロップアウトに類似した過学習抑制の効果によるものか、それとも他の機構によるものか？
• RQ4 異なる層やタスクに対して k を選ぶ際の実用的なガイドラインは何か？

主な発見

• バックプロパゲーションのコストは、バックプロパゲーション毎に 1–4% のウェイトのみを更新することで削減される。
• meProp は大幅な速度向上を達成：一部の行列乗算の GPU ベンチマークではバックプロパゲーションが約 69 倍高速、報告された設定では 18–31 倍の速度向上（kとモデルに依存）。
• モデルの精度は、LSTM/MLP、Adam/AdaGrad、NLP/画像タスクにおいて meProp でしばしば向上する。
• トップ-k 勾配選択はランダムなスパース化より優れており、トップ-k 要素が最も重要な勾配情報を保持していることを示している。
• meProp の活用はドロップアウトを補完し得ることを示し、過学習抑制の異なる機構を示唆する。