[论文解读] Large-scale Artificial Neural Network: MapReduce-based Deep Learning

Kairan Sun, Wei Xu+3 more|arXiv (Cornell University)|Oct 9, 2015

Handwritten Text Recognition Techniques参考文献 13被引用 7

一句话总结

本文提出了一种基于MapReduce的深度学习框架，通过在云集群中分布反向传播过程，加速大规模人工神经网络的训练。通过将深度学习与Hadoop的MapReduce集成，该系统在手写数字识别任务中实现了线性可扩展性和效率提升，利用Amazon Web Services显著加快了训练速度并实现了高精度分类。

ABSTRACT

Faced with continuously increasing scale of data, original back-propagation neural network based machine learning algorithm presents two non-trivial challenges: huge amount of data makes it difficult to maintain both efficiency and accuracy; redundant data aggravates the system workload. This project is mainly focused on the solution to the issues above, combining deep learning algorithm with cloud computing platform to deal with large-scale data. A MapReduce-based handwriting character recognizer will be designed in this project to verify the efficiency improvement this mechanism will achieve on training and practical large-scale data. Careful discussion and experiment will be developed to illustrate how deep learning algorithm works to train handwritten digits data, how MapReduce is implemented on deep learning neural network, and why this combination accelerates computation. Besides performance, the scalability and robustness will be mentioned in this report as well. Our system comes with two demonstration software that visually illustrates our handwritten digit recognition/encoding application.

研究动机与目标

• 解决传统反向传播神经网络在大规模数据集上存在的效率低下和可扩展性受限问题。
• 将深度学习与云计算相结合，以有效处理大数据工作负载。
• 设计并实现一种基于MapReduce的分布式、可扩展神经网络框架，用于并行计算。
• 通过手写字符识别应用，展示系统的性能，涵盖监督学习和无监督学习模式。
• 使用基于云的集群，在真实数据上评估系统的可扩展性、鲁棒性和准确性。

提出的方法

• 采用堆叠自编码器方法实现深度神经网络，先将每一层预训练为受限玻尔兹曼机（RBM），再通过反向传播进行微调。
• 通过在集群中的多个节点上并行更新权重，将神经网络训练过程映射到MapReduce范式。
• 使用Amazon Web Services（AWS）作为云基础设施，托管基于Hadoop的MapReduce框架，以实现分布式数据处理。
• 设计两个演示应用：一个用于监督式数字识别，另一个用于无监督自编码和重构。
• 通过将28×28像素图像编码为30维编码，实现降维，以支持高效存储和重构。
• 使用迭代的MapReduce作业，将前向传播和反向传播步骤分布到集群中，最大限度减少数据传输并提升并行性。

实验结果

研究问题

• RQ1 MapReduce能否有效用于并行化深度神经网络中计算密集型的反向传播过程？
• RQ2 将深度学习与MapReduce结合，对大规模数据上的训练效率和可扩展性有何影响？
• RQ3 当系统在云集群中分布时，其在手写数字识别中的准确性能保持到何种程度？
• RQ4 该系统在使用降维技术进行无监督预训练和自编码任务时表现如何？
• RQ5 增加集群节点数量对系统执行时间和性能有何影响？

主要发现

• 系统实现了近似线性的可扩展性，处理时间随节点数量增加而按比例减少，表明并行化效果良好。
• 随着节点数量增加，训练时间显著缩短，表明基于MapReduce的方法能有效分发深度学习的计算负载。
• 监督学习模型在识别手写数字方面表现出高精度，即使面对非正式或风格化手写体也表现良好。
• 无监督自编码模型能够从30维编码中成功重构28×28的数字图像，在大多数情况下保持了高保真度。
• 系统在数字图像重构方面表现出鲁棒性，但无法重构非数字符号，证实了模型对训练数据分布的依赖性。
• 理论与实际可扩展性之间存在轻微差距，归因于在使用更多节点时产生的系统级开销。