[论文解读] Implementation of Training Convolutional Neural Networks

Tianyi Liu, Shuangsang Fang+3 more|arXiv (Cornell University)|Jun 3, 2015

Face and Expression Recognition参考文献 7被引用 125

一句话总结

本文详细实现了使用Java训练卷积神经网络（CNNs）的过程，涵盖前向传播和反向传播。提出了一种并行策略以提高训练效率，通过在前向和反向计算上的实际时间测量，实现了理论加速比和并行效率分析。

ABSTRACT

Deep learning refers to the shining branch of machine learning that is based on learning levels of representations. Convolutional Neural Networks (CNN) is one kind of deep neural network. It can study concurrently. In this article, we gave a detailed analysis of the process of CNN algorithm both the forward process and back propagation. Then we applied the particular convolutional neural network to implement the typical face recognition problem by java. Then, a parallel strategy was proposed in section4. In addition, by measuring the actual time of forward and backward computing, we analysed the maximal speed up and parallel efficiency theoretically.

研究动机与目标

• 为教育和实际应用目的，提供使用Java进行CNN训练的完整实现。
• 详细分析前向传播和反向传播过程，以理解CNN训练机制。
• 设计并评估一种并行策略，以提高CNN训练效率。
• 通过实际时间测量数据，测量并理论分析加速比和并行效率。

提出的方法

• 作者在Java中实现了完整的CNN训练流水线，包括卷积层、池化层和全连接层。
• 前向传播按层实现，通过卷积运算和ReLU等非线性激活函数计算激活值。
• 使用链式法则应用反向传播，计算所有层的梯度，包括权重和偏置的更新。
• 提出一种并行策略，将计算分布到多个线程或处理器上，重点针对卷积和梯度运算。
• 基于测量的前向和反向传播执行时间，推导出理论加速比和并行效率。
• 在人脸识别任务上验证了实现，以证明其实际适用性。

实验结果

研究问题

• RQ1 如何在Java中有效实现完整的CNN训练流水线，以用于教育和研究目的？
• RQ2 CNN中前向和反向传播的关键计算瓶颈是什么？
• RQ3 并行化策略在提高CNN训练速度方面的有效性如何？
• RQ4 通过并行计算在CNN训练中可实现的理论加速比和并行效率是多少？
• RQ5 该实现在一个真实世界任务（如人脸识别）中的表现如何？

主要发现

• 该实现成功使用Java在人脸识别任务上训练了CNN，证明了在该语言中实现高级深度学习的可行性。
• 测量了前向和反向传播的执行时间，以支持性能提升的理论分析。
• 所提出的并行策略实现了可测量的加速比，理论加速比和并行效率均基于实际时间测量数据推导得出。
• 理论分析表明，并行化可显著减少训练时间，尤其是在大规模卷积运算中。
• 该研究证实，前向和反向传播均计算密集，因此需要优化和并行化。