[论文解读] Feed Forward and Backward Run in Deep Convolution Neural Network

P. P. Murugan|arXiv (Cornell University)|Nov 9, 2017

Neural Networks and Applications参考文献 7被引用 13

一句话总结

本文对深度卷积神经网络（CNN）中的前向传播与反向传播过程提供了全面的数学解释，重点聚焦于网络架构、激活函数（ReLU、Sigmoid）、损失函数（交叉熵）以及基于梯度的参数更新。文中详细描述了卷积层、池化层和全连接层的前向传播过程，随后通过反向传播计算权重和偏置更新的梯度，采用随机梯度下降法，为理解简化后的灰度图像设置下CNN的运行机制提供了基础性指南。

ABSTRACT

Convolution Neural Networks (CNN), known as ConvNets are widely used in many visual imagery application, object classification, speech recognition. After the implementation and demonstration of the deep convolution neural network in Imagenet classification in 2012 by krizhevsky, the architecture of deep Convolution Neural Network is attracted many researchers. This has led to the major development in Deep learning frameworks such as Tensorflow, caffe, keras, theno. Though the implementation of deep learning is quite possible by employing deep learning frameworks, mathematical theory and concepts are harder to understand for new learners and practitioners. This article is intended to provide an overview of ConvNets architecture and to explain the mathematical theory behind it including activation function, loss function, feedforward and backward propagation. In this article, grey scale image is taken as input information image, ReLU and Sigmoid activation function are considered for developing the architecture and cross-entropy loss function are used for computing the difference between predicted value and actual value. The architecture is developed in such a way that it can contain one convolution layer, one pooling layer, and multiple dense layers

研究动机与目标

• 为新学习者和实践者提供一种清晰、基于数学的深度卷积神经网络（CNN）中前向传播与反向传播过程的解释。
• 通过逐步推导数学运算，揭示CNN核心组件——卷积层、池化层、全连接层——的内在机制。
• 通过简化后的灰度图像输入，阐明激活函数（ReLU、Sigmoid）和损失函数（交叉熵）在训练CNN中的作用。
• 利用链式法则推导并解释卷积层与全连接层中权重和偏置的梯度计算过程。
• 完整呈现从输入到输出的端到端工作流程，明确展示通过梯度下降法进行参数更新的显式方程。

提出的方法

• 网络架构包含一个卷积层、一个池化层和多个全连接层，输入为灰度图像。
• 前向传播通过线性变换（z = Wx + b）计算激活值，随后通过ReLU或Sigmoid等非线性函数进行激活。
• 损失函数定义为预测标签与真实标签之间的交叉熵，用于评估模型性能。
• 反向传播通过链式法则计算梯度，从最后一层开始，将误差信号逐层向后传播。
• 权重和偏置的梯度通过偏导数推导：∂L/∂W 和 ∂L/∂b，其中ReLU和Sigmoid激活函数有具体表达式。
• 参数更新采用标准随机梯度下降（SGD），学习率α控制更新过程，权重和偏置按公式 W = W - α·∂L/∂W 和 b = b - α·∂L/∂b 更新。

实验结果

研究问题

• RQ1 在CNN中，前向传播如何通过卷积层、池化层和全连接层传递信号？
• RQ2 在CNN中，损失函数及其相对于网络参数的梯度的数学推导是什么？
• RQ3 如何利用反向传播计算卷积层中损失函数相对于权重和偏置的梯度？
• RQ4 ReLU和Sigmoid等激活函数在CNN中如何影响输出形态与梯度流动？
• RQ5 误差信号如何在网络中向后传播？卷积层中的卷积核权重和偏置的梯度如何计算？

主要发现

• 前向传播通过线性组合（z = Wx + b）计算各层激活值，随后通过非线性激活（ReLU或Sigmoid）生成特征图与最终预测结果。
• 使用交叉熵损失函数衡量预测标签与真实标签之间的差异，其梯度通过损失函数对输出层的导数计算得出。
• 对于最后一个全连接层，假设使用ReLU激活，其偏置梯度推导为 ∂L/∂b^L+1_i = z^{L-1}_i - y_i。
• 卷积核权重的损失梯度计算公式为 ∂L/∂k^{p,q}_{u,v} = Σ_{m,n} (P^{p,q}_{m,n}) · I_{m-u,n-v}，其中 P^{p,q}_{m,n} 为上游梯度。
• 卷积层偏置的梯度为上游梯度之和：∂L/∂b^{p,q} = Σ_{m,n} ∂L/∂C^{p,q}_{m,n}。
• 参数更新通过标准SGD完成，权重和偏置根据学习率α与计算出的梯度进行更新。