[論文レビュー] Proportionate gradient updates with PercentDelta

Sami Abu-El-Haija|arXiv (Cornell University)|Aug 24, 2017

Tensor decomposition and applications参考文献 10被引用数 5

ひとこと要約

この論文では、各学習可能なテンソルのL1ノルムに比例して勾配をスケーリングする勾配更新ルールであるPercentDeltaを提案する。これにより、深層ニューラルネットワークのすべての層が同じ相対的速度で学習されることが保証される。すべてのテンソルの平均L1ノルムを用いて勾配を正規化することで、固定の訓練予算のもとでSGD、Adam、AdaGrad、LARSと比較して、MNISTにおける収束速度の向上とより高いテスト精度を達成する。

ABSTRACT

Deep Neural Networks are generally trained using iterative gradient updates. Magnitudes of gradients are affected by many factors, including choice of activation functions and initialization. More importantly, gradient magnitudes can greatly differ across layers, with some layers receiving much smaller gradients than others. causing some layers to train slower than others and therefore slowing down the overall convergence. We analytically explain this disproportionality. Then we propose to explicitly train all layers at the same speed, by scaling the gradient w.r.t. every trainable tensor to be proportional to its current value. In particular, at every batch, we want to update all trainable tensors, such that the relative change of the L1-norm of the tensors is the same, across all layers of the network, throughout training time. Experiments on MNIST show that our method appropriately scales gradients, such that the relative change in trainable tensors is approximately equal across layers. In addition, measuring the test accuracy with training time, shows that our method trains faster than other methods, giving higher test accuracy given same budget of training steps.

研究の動機と目的

• 深層ニューラルネットワークにおける層間の勾配大きさの不均衡な問題に対処すること。これは、全体の学習を遅くする要因となる。
• 誤差逆伝播を用いて4層のフィードフォワードネットワークにおける勾配フローを分析することで、不均衡な学習の現象を形式的に定式化すること。
• 初期重みの大きさや活性化関数にかかわらず、すべての層における相対的変化率を明示的に均等化する手法を提案すること。
• 固定された訓練予算のもとで、割合的な学習が収束速度の向上とより高いテスト精度をもたらすことを実証的に示すこと。

提案手法

• 各層の勾配を、すべての学習可能なテンソルの平均L1ノルムで割ることでスケーリングし、各層における相対的変化が均等になるように保証する。
• 更新ルールは次式で定義される：$ \Delta W_j = \eta \cdot \gamma(t) \cdot \frac{\partial J}{\partial W_j} \cdot \frac{\|W_j\|_1}{\text{mean}(\|W_k\|_1)} $、ここで$ \|W_j\|_1 $はj番目の重みテンソルのL1ノルムである。
• 学習率スケジュール$ \gamma(t) $は線形に減少し、発散を防ぐために最小閾値$ \beta $を設ける。
• 標準的なモーメンタムと互換性があり、最小限の変更で任意の最適化手法に適用可能である。
• この手法により、各訓練ステップですべての層においてテンソルのL1ノルムの相対的変化がほぼ等しくなる。
• ハイパーパramータの選択に敏感ではなく、適切な範囲内であれば問題ない。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層ニューラルネットワークにおける勾配大きさが層ごとに著しく異なるのか。また、これは学習速度にどのように影響するのか。
• RQ2 すべての層において相対的変化率を明示的に均等化することで、学習収束を改善できるか。
• RQ3 割合的な勾配スケーリングは、標準的な最適化手法と比較して、より速い収束と高いテスト精度をもたらすか。
• RQ4 どのようなモデルアーキテクチャで割合的な学習が最も効果を発揮するか。
• RQ5 学習率や減衰スケジュールなどのハイパーパramータの選択に対して、提案手法はどれほど頑健か。

主な発見

• PercentDeltaは、同じステップ数で訓練した場合、MNISTデータセットにおいてSGD、Adam、AdaGrad、LARSと比較してより高いテスト精度を達成する。
• この手法により、すべての学習可能なテンソルのL1ノルムにおける相対的変化が、各訓練ステップでほぼ等しくなる。
• 実験の結果、PercentDeltaはベースライン手法よりも高速に学習を進め、同じ訓練予算でより高い性能に到達することが示された。
• 学習率$ \eta $と$ m $のハイパーパramータの選択に対して、適切な範囲内であれば頑健であることが分かった。
• PercentDeltaはモーメンタムと互換性があり、既存の最適化手法に最小限の変更で統合可能である。
• 特に、勾配寄与度が不均衡な状況、例えば、統合埋め込みとネットワークの同時学習、ソフトアテンションモデル、グローバルバイアスを伴う行列分解の場面で顕著な利点を示す。