[論文レビュー] Instant Learning: Parallel Deep Neural Networks and Convolutional Bootstrapping

Andrew Simpson|arXiv (Cornell University)|May 22, 2015

Advanced Neural Network Applications参考文献 10被引用数 5

ひとこと要約

本稿では、大規模な並列処理と局所的な解空間サンプリングを活用することで、即時学習を可能にする、畳み込みブートストラップを備えた新規な並列深層ニューラルネットワーク（DNN）フレームワークを提案する。複数のDNNレプリカを同時に訓練し、畳み込みブートストラップ機構を用いることで、1回の学習イテレーション後には完全に訓練された従来のDNNと同等の性能を達成し、収束を著しく加速するとともに、ロバスト性を向上させる。

ABSTRACT

Although deep neural networks (DNN) are able to scale with direct advances in computational power (e.g., memory and processing speed), they are not well suited to exploit the recent trends for parallel architectures. In particular, gradient descent is a sequential process and the resulting serial dependencies mean that DNN training cannot be parallelized effectively. Here, we show that a DNN may be replicated over a massive parallel architecture and used to provide a cumulative sampling of local solution space which results in rapid and robust learning. We introduce a complimentary convolutional bootstrapping approach that enhances performance of the parallel architecture further. Our parallelized convolutional bootstrapping DNN out-performs an identical fully-trained traditional DNN after only a single iteration of training.

研究の動機と目的

• 現代の並列アーキテクチャにおけるスケーラビリティを制限する、勾配降下法の本質的な逐次的性質を克服すること。
• 複数のネットワークレプリカにわたる大規模な並列処理を活用して、DNNの迅速かつロバストな訓練を可能にすること。
• 並列フレームワークにおける学習効率とパフォーランスを向上させるための畳み込みブートストラップ機構を導入すること。
• 1回の学習イテレーション後でも、完全に訓練された従来のDNNを上回る性能を示す並列DNNとブートストラップの有効性を実証すること。

提案手法

• 大規模並列アーキテクチャに深層ニューラルネットワークを複製し、複数のネットワークインスタンスを同時に訓練可能にする。
• 各ネットワークレプリカを用いて局所的な解空間をサンプリングし、これらのサンプルを集約してグローバル最適化を導く。
• 複数のレプリカからの特徴マップを空間畳み込みを用いて統合する畳み込みブートストラップ層を実装し、表現学習を強化する。
• レプリカ間で並列に勾配降下を適用しながら、ブートストラップ層を介して同期を維持することで、冗長性を低減し収束を改善する。
• すべてのレプリカの累積出力を用いて、各イテレーションごとに進化する動的で柔軟なモデルを構築する。
• ブートストラップ機構をネットワークの特徴マップに対するリサイジド型更新として統合し、高レベルのパターンを迅速に伝搬可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的な勾配降下法の逐次的性質にもかかわらず、深層ニューラルネットワークは効果的に並列化可能か？
• RQ2 複数のDNNレプリカにわたる局所的解空間サンプリングは、収束の加速と一般化性能の向上に寄与するか？
• RQ3 畳み込みブートストラップ機構は、単なるアンサンブル平均化をはるかに超えて、並列DNNフレームワークにおけるパフォーマンスを向上させられるか？
• RQ4 提案手法は、1回の学習イテレーション後でも、完全に訓練されたDNNと同等の性能を達成できるか？
• RQ5 並列処理と畳み込みブートストラップの組み合わせは、ロバスト性および学習安定性にどのように影響を与えるか？

主な発見

• 提案された並列DNNと畳み込みブートストラップは、1回の学習イテレーション後、同等の完全に訓練された従来のDNNを上回る性能を示した。
• 大規模な並列処理を活用し、逐次的最適化に依存する必要を減らすことにより、学習の高速化を実現した。
• 畳み込みブートストラップ機構は、複数のレプリカからの情報を効果的に統合し、収束を迅速化するとともに、特徴表現を向上させた。
• 解空間の累積的サンプリングのおかげで、初期化やハイパーパramータの変動に対してもフレームワークはロバストであることが示された。
• 性能向上の要因は、並列学習とブートストラップ層が高レベルのパターンを効率的に伝搬できる相乗効果に起因する。
• 結果から、ブートストラップを備えた並列DNNは、最小限の学習時間で最先端のパフォーマンスを達成でき、完全な訓練サイクルの必要性を疑問視するものとなった。