[論文レビュー] Faster learning of deep stacked autoencoders on multi-core systems using synchronized layer-wise pre-training

Anirban Santara, Debapriya Maji+3 more|arXiv (Cornell University)|Mar 9, 2016

Advanced Neural Network Applications参考文献 8被引用数 4

ひとこと要約

本論文は、深層スタックドオートエンコーダーのための同期的並列層別事前学習アルゴリズムを提案する。この手法は、各層を定期的な同期を伴って同時に学習させることで、マルチコアシステム上の学習を高速化し、過学習を低減し、MNISTデータセットにおいても同じ再構成精度を維持しながら、グリーディー事前学習比で26.17%の高速化を達成した。

ABSTRACT

Deep neural networks are capable of modelling highly non-linear functions by capturing different levels of abstraction of data hierarchically. While training deep networks, first the system is initialized near a good optimum by greedy layer-wise unsupervised pre-training. However, with burgeoning data and increasing dimensions of the architecture, the time complexity of this approach becomes enormous. Also, greedy pre-training of the layers often turns detrimental by over-training a layer causing it to lose harmony with the rest of the network. In this paper a synchronized parallel algorithm for pre-training deep networks on multi-core machines has been proposed. Different layers are trained by parallel threads running on different cores with regular synchronization. Thus the pre-training process becomes faster and chances of over-training are reduced. This is experimentally validated using a stacked autoencoder for dimensionality reduction of MNIST handwritten digit database. The proposed algorithm achieved 26\% speed-up compared to greedy layer-wise pre-training for achieving the same reconstruction accuracy substantiating its potential as an alternative.

研究の動機と目的

• 大規模なデータセットや複雑なアーキテクチャにおける、深層スタックドオートエンコーダーのグリーディー層別事前学習の高い時間計算量を解決すること。
• 各層を逐次的にグリーディーに学習させることで生じる過学習や層の不整合のリスクを低減すること。
• マルチコアプロセッサ上で層の並列実行を可能にし、定期的な同期をとることで、事前学習を高速化すること。
• 大幅に学習時間を短縮しつつ、再構成精度を維持または向上させること。
• 既存の微調整の並列化技術と良好に統合できるスケーラブルで、グリーディーでない事前学習手法の代替案を提供すること。

提案手法

• アルゴリズムは、異なるCPUコア上で別々のスレッドを用いて、スタックドオートエンコーダーの各層を並列に学習する。
• 定期的なインターバルで同期が行われ、各層の学習データは、直前の層からの成熟した出力に基づいて更新される。
• データの成熟度が1層から次の層へと伝搬され、各層が更新された高レベル表現に基づいて学習される。
• 制限付きボルツマンマシン（RBMs）を用いて、対照的分散法で各層を事前学習し、収束を監視する再構成誤差をモニタリングする。
• 事前学習中に層間のデータ整合性を保証するため、段階的なメカニズムによって学習が同期される。
• 全事前学習時間は、最も遅い層（例：最初の層）に依存し、他のすべての層はそれに同期して更新される。

実験結果

リサーチクエスチョン

• RQ1 同期的な並列事前学習により、再構成精度を損なわずに学習時間を短縮できるか？
• RQ2 グリーディー層別事前学習と比較して、同期的事前学習は過学習や層の不整合のリスクを低減するか？
• RQ3 MNISTデータセットにおいて、同期的事前学習とグリーディー事前学習の速度および再構成誤差の観点での性能比較は？
• RQ4 定期的な同期が、最も内側の層の一般化挙動にどのような影響を与えるか？
• RQ5 提案手法は、微調整フェーズにおける既存の並列化戦略とシームレスに統合可能か？

主な発見

• 提案された同期的事前学習アルゴリズムは、グリーディー層別事前学習比で26.17%の高速化を達成し、1時間49分11秒で完了したのに対し、グリーディー法は3時間14分43秒を要した。
• 同じ再構成精度がより短い時間で達成されたため、並列化によって性能が損なわれていないことが確認された。
• 第4層は初期に高い訓練誤差と検証誤差を示し、過学習の兆候を示したが、同期のおかげでパラメータが成熟したデータに適応したことで解消された。
• 全層の訓練誤差と検証誤差が時間経過とともに収束したため、成功した一般化と効果的な学習が示された。
• スレッド間の通信オーバーヘッドは無視できるほど小さく、1回のRBMsエポックの時間と比較して5〜6桁小さい。
• 高速な層に対して20エポックを超えて事前学習を延長しても、最終的な精度は向上しなかったため、全時間は最も遅い層に依存することが確認された。