[論文レビュー] Accelerating Deep Learning with Shrinkage and Recall

Shuai Zheng, Abhinav Vishnu+1 more|arXiv (Cornell University)|May 4, 2016

Neural Networks and Applications参考文献 27被引用数 5

ひとこと要約

この論文では、特徴の縮小とリコール機構を組み合わせることで、トレーニング中に不要な計算をスキップすることにより、ディープラーニングの高速化を実現する新しいフレームワークsDLrを提案する。低影響のサンプルや特徴を早期に特定・除外することで、DNN、DBN、CNNモデルにおいて、多様なデータセットで分類精度を維持または向上させつつ、2倍以上の高速化を達成した。

ABSTRACT

Deep Learning is a very powerful machine learning model. Deep Learning trains a large number of parameters for multiple layers and is very slow when data is in large scale and the architecture size is large. Inspired from the shrinking technique used in accelerating computation of Support Vector Machines (SVM) algorithm and screening technique used in LASSO, we propose a shrinking Deep Learning with recall (sDLr) approach to speed up deep learning computation. We experiment shrinking Deep Learning with recall (sDLr) using Deep Neural Network (DNN), Deep Belief Network (DBN) and Convolution Neural Network (CNN) on 4 data sets. Results show that the speedup using shrinking Deep Learning with recall (sDLr) can reach more than 2.0 while still giving competitive classification performance.

研究の動機と目的

• DNN、DBN、CNNなどの大規模ディープラーニングモデルのトレーニングにかかる高コストな計算負荷に対処すること。
• 特に大規模データおよび深層アーキテクチャの環境下でも、分類性能を損なわずトレーニング時間を短縮すること。
• コンピュータビジョンや科学的データを含む、さまざまなディープラーニングモデルとデータタイプにわたる一般化可能な高速化を実現すること。
• モデルに依存しない、スケーラブルなアプローチを導入し、標準的なバックプロパゲーションに縮小とリコール機構を統合すること。

提案手法

• SVMにインspiredされた縮小機構を提案し、勾配更新に最小限の影響を与えるトレーニングサンプルを特定・除外する。
• 再評価と再統合を可能にするリコール戦略を導入し、モデルの精度を維持する。
• バックプロパゲーション中に低影響の特徴を特定・削除することで、特徟能力の縮小を実現し、計算負荷を低減する。
• 例えば全データの20%を基準として、どのサンプルを除外するかを決定する動的しきい値機構を用いる。
• DNN、DBN、CNNアーキテクチャにおいて、コア学習アルゴリズムを変更せずに、縮小とリコールを標準的なバックプロパゲーションに統合する。
• ミニバッチ単位でサンプルの除外を評価するバッチベース処理戦略を採用し、並列処理を効率的に行える。

実験結果

リサーチクエスチョン

• RQ1 縮小とリコール機構は、分類精度を損なわず、ディープラーニングモデルのトレーニング時間を顕著に短縮できるか？
• RQ2 sDLrフレームワークは、DNN、DBN、CNNといった多様なディープラーニングアーキテクチャおよびMNIST、CIFAR-10、ヒッグスボソン、代替スプライシングといった多様なデータセットでどのように性能を発揮するか？
• RQ3 sDLrを適用した際の、スループット向上と分類性能向上のトレードオフは何か？
• RQ4 提案手法は、さまざまなデータサイズ、ネットワークの深さ、トレーニング設定に一般化可能か？

主な発見

• MNISTデータセットでは、sDLrによりトレーニング時間が1.56倍高速化（5571秒から3565秒）され、トップ-1分類誤差が0.19%改善された。
• CIFAR-10データセットでは、7-20-20-2ネットワークで1.62倍の高速化、7-50-2ネットワークで2.89倍の高速化が達成され、誤差はそれぞれ5.19%および2.84%改善された。
• ヒッグスボソンデータセットでは、1389-100-3ネットワークで1.60倍の高速化、1389-50-3ネットワークでも1.60倍の高速化が達成され、後者では誤差が10.4%改善された。
• 代替スプライシングデータセットでは、1.60倍の高速化が達成され、平均二乗誤差が低下したため、回帰性能が向上した。
• 複数の構成で2倍以上の高速化が達成され、異なるモデルタイプおよびデータスケールにわたって一貫した加速効果を示した。
• 一部のケースでは、例えばヒッグスボソン7-50-2ネットワークにおいて、分類精度が向上（誤差2.84%の低減）した。これは、プルーニングが一般化性能を向上させうることを示している。