[論文レビュー] Large-scale Artificial Neural Network: MapReduce-based Deep Learning

Kairan Sun, Wei Xu+3 more|arXiv (Cornell University)|Oct 9, 2015

Handwritten Text Recognition Techniques参考文献 13被引用数 7

ひとこと要約

この論文では、クラウドクラスタを介してバックプロパゲーションを分散させることで、大規模なニューラルネットワークの学習を高速化するMapReduceベースのディープラーニングフレームワークを提案する。HadoopのMapReduceとディープラーニングを統合することで、線形スケーラビリティを達成し、手書き数字認識において高い効率性と顕著な高速化を実現した。Amazon Web Servicesを用いた実験により、正確な分類が可能であることが示された。

ABSTRACT

Faced with continuously increasing scale of data, original back-propagation neural network based machine learning algorithm presents two non-trivial challenges: huge amount of data makes it difficult to maintain both efficiency and accuracy; redundant data aggravates the system workload. This project is mainly focused on the solution to the issues above, combining deep learning algorithm with cloud computing platform to deal with large-scale data. A MapReduce-based handwriting character recognizer will be designed in this project to verify the efficiency improvement this mechanism will achieve on training and practical large-scale data. Careful discussion and experiment will be developed to illustrate how deep learning algorithm works to train handwritten digits data, how MapReduce is implemented on deep learning neural network, and why this combination accelerates computation. Besides performance, the scalability and robustness will be mentioned in this report as well. Our system comes with two demonstration software that visually illustrates our handwritten digit recognition/encoding application.

研究の動機と目的

• 大規模データセットにおける従来のバックプロパゲーションニューラルネットワークの非効率性とスケーラビリティの制限を解決する。
• ビッグデータワークロードを効果的に処理できるように、ディープラーニングをクラウドコンピューティングと統合する。
• 並列計算を実現するため、MapReduceを用いた分散可能でスケーラブルなニューラルネットワークフレームワークを設計および実装する。
• 教師ありおよび教師なし学習モードを備えた手書き文字認識アプリケーションを通じて、システムのパフォーマンスを実証する。
• クラウドベースのクラスタを用いて、実世界のデータにおけるスケーラビリティ、耐障害性、および正確性を評価する。

提案手法

• スタックドオートエンコーダー手法を用いてディープニューラルネットワークを実装し、バックプロパゲーションによるファインチューニングの前に、各層を制限ボルツマンマシン（RBM）として事前学習する。
• クラスタ内の複数のノードにわたる重み更新を並列化することで、ニューラルネットワークの学習プロセスをMapReduceパラダイムにマッピングする。
• HadoopベースのMapReduceフレームワークを分散データ処理用にホスティングするため、Amazon Web Services（AWS）をクラウドインfrastrucureとして使用する。
• 2つのデモアプリケーションを設計：1つは教師ありの数字認識、もう1つは教師なしのオートエンコーディングおよび再構築。
• 28×28ピクセルの画像を30次元のコードにエンコードすることで次元削減を実現し、効率的な保存と再構築を可能にする。
• 前方伝搬および後方伝搬ステップをクラスタ全体に分散するために反復的なMapReduceジョブを適用し、データ転送を最小限に抑えながら並列性を最大化する。

実験結果

リサーチクエスチョン

• RQ1 MapReduceは、ディープニューラルネットワークにおける計算負荷の高いバックプロパゲーションプロセスを効果的に並列化するために使用可能か？
• RQ2 ディープラーニングとMapReduceを統合することで、大規模データにおける学習効率性とスケーラビリティにどのような影響を与えるか？
• RQ3 クラウドクラスタに分散された際、手書き数字認識の精度はどの程度維持されるか？
• RQ4 次元削減を用いた教師なし事前学習およびオートエンコーディングタスクにおいて、システムはどのように動作するか？
• RQ5 クラスタノード数を増加させた場合、システムの実行時間およびパフォーマンスにどのような影響が生じるか？

主な発見

• システムはほぼ線形のスケーラビリティを達成し、ノード数が増加するに従い処理時間が比例的に短縮された。これは、効果的な並列化を示している。
• ノード数を増やすことで学習時間が顕著に短縮された。これは、MapReduceベースのアプローチがディープラーニングの計算負荷を効果的に分散できることを示している。
• 教師あり学習モデルは、非公式またはスタイルの異なる手書き文字に対しても高い正確性で数字を認識できた。
• 教師なしオートエンコーディングモデルは、30次元のコードから28×28の数字画像を高精度で再構築でき、多くの場合に優れた忠実度を示した。
• システムは数字の再構築において耐障害性を示したが、非数字の記号は再構築に失敗した。これは、モデルがトレーニングデータの分布に依存していることを確認した。
• 理論的スケーラビリティと観測されたスケーラビリティのわずかな差は、ノード数が増加する際のシステムレベルのオーバーヘッドに起因するとされた。