[論文レビュー] Adapting Resilient Propagation for Deep Learning

Alan Mosca, George D. Magoulas|arXiv (Cornell University)|Sep 15, 2015

Domain Adaptation and Few-Shot Learning参考文献 10被引用数 13

ひとこと要約

本稿では、ドロップアウトに配慮した改良型Rpropアルゴリズムを提案し、深層ニューラルネットワークにおけるゼロ勾配問題を克服することで、学習速度と精度を顕著に向上させた。この手法は、35エポックでMNISTにおいて2.57%の検証誤差を達成し、標準的なSGDや改変なしのRpropよりも高速であり、コンsumerハードウェア上でも深層ニューラルネットワークアンサンブルの効率的な学習を可能にした。

ABSTRACT

The Resilient Propagation (Rprop) algorithm has been very popular for backpropagation training of multilayer feed-forward neural networks in various applications. The standard Rprop however encounters difficulties in the context of deep neural networks as typically happens with gradient-based learning algorithms. In this paper, we propose a modification of the Rprop that combines standard Rprop steps with a special drop out technique. We apply the method for training Deep Neural Networks as standalone components and in ensemble formulations. Results on the MNIST dataset show that the proposed modification alleviates standard Rprop's problems demonstrating improved learning speed and accuracy.

研究の動機と目的

• ドロップアウトによるゼロ勾配が標準Rpropの学習ダイナミクスを乱すため、標準Rpropとドロップアウトの間の不適合性を解消すること。
• ドロップアウト由来のゼロ勾配と勾配符号の真正の変化を区別できるようにRpropを適合させることで、深層学習における収束速度と最終的な精度を向上させること。
• 改良型Rpropアルゴリズムの改善された収束特性を活用して、深層ニューラルネットワークアンサンブルの高速学習を可能にすること。
• 改良型RpropがMNISTベンチマークにおいて、標準SGDおよび改変なしのRpropよりも速度と精度の両面で優れていることを示すこと。

提案手法

• 改良型Rpropアルゴリズムは、ドロップアウトマスク $Dm$ を追跡することで、ドロップアウト由来のゼロ勾配と勾配符号の変化を示すゼロ勾配を区別する。
• ドロップアウトによるゼロ勾配が発生した場合、標準Rpropがすべてのゼロ勾配を同じように扱うのとは異なり、このアルゴリズムは重みと学習率の更新を回避しない。
• アルゴリズムは、勾配符号の一貫性に基づく乗法的要因 $\eta_+$ と $\eta_-$ を用いた、ステップサイズを適応的に調整するRpropのコアメカニズムを維持する。
• 改良型Rpropは、個々の深層ニューラルネットワークの学習に適用され、バギングとスタッキングを用いたアンサンブルフレームワークに統合される。
• アンサンブル学習では、改良型Rpropを用いてベースDNNを高速に学習した後、予測を統合するための2番目の分類器（別のDNN）を用いる。
• 更新をスキップするかどうかを判断するための、ドロップアウトマスクをチェックする改変された重み更新ルールを採用し、ドロップアウトフェーズ中でも学習の進行を保持する。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウト正則化と組み合わせた場合、Rpropは深層ニューラルネットワークの学習に効果的に適応可能か？
• RQ2 ドロップアウト由来のゼロ勾配が標準Rpropの収束を妨げており、その場合、どのように緩和できるか？
• RQ3 改良型Rpropアルゴリズムは、深層学習タスクにおいて、標準SGDおよび改変なしのRpropよりも高速な収束とより優れた一般化性能を達成できるか？
• RQ4 改良型Rpropの向上した学習速度により、標準デスクトップハードウェア上でも深層ニューラルネットワークアンサンブルの実用的学習が可能になるか？

主な発見

• 改良型RpropはMNISTデータセットで最小2.57%の検証誤差を達成し、標準SGD（2.85%）および改変なしのRprop（3.03%）を上回った。
• 改良型Rpropは35エポックで最良の性能に到達したが、改変なしのRpropは105エポック、SGDは1763エポックを要した。
• 改良型Rpropは単一GPUシステム上での学習時間を10分に短縮した。一方、Rpropは25分、SGDは320分を要した。
• この手法により、コンsumerデスクトップシステム上でも12時間未満で深層ニューラルネットワークアンサンブルの学習が可能となり、10メンバーのスタッキングアンサンブルはテスト誤差2.19%を達成した。
• ウィルコクソン符号順位検定により、98%の信頼水準で10メンバーのアンサンブルが3メンバーのアンサンブルを有意に上回ることが確認された。
• 改良型Rpropは、収束速度が早く、誤差が低く保たれ、改変なしのRpropが見せる過学習や早期飽和を回避した。