[论文解读] Deep learning: Technical introduction

Thomas Epelbaum|arXiv (Cornell University)|Sep 5, 2017

Stochastic Gradient Optimization Techniques参考文献 5被引用 23

一句话总结

本文提供了深度学习的全面、自下而上的技术导论，以指标符号推导前馈、卷积和循环神经网络的关键组件，包括反向传播、批量归一化和LSTM架构。它强调数学严谨性与可实现的推导，使读者能够使用显式公式从零开始构建网络，涵盖所有主要深度学习架构中的权重更新、梯度计算和层特定运算。

ABSTRACT

This note presents in a technical though hopefully pedagogical way the three most common forms of neural network architectures: Feedforward, Convolutional and Recurrent. For each network, their fundamental building blocks are detailed. The forward pass and the update rules for the backpropagation algorithm are then derived in full.

研究动机与目标

• 通过从基本原理推导核心算法，为深度学习提供数学上严谨且可实现的基础。
• 解决现有文献中反向传播和优化技术缺乏可访问、详细推导的问题。
• 使读者能够使用基于索引的显式公式，从零开始实现全连接、卷积和循环神经网络。
• 通过逐步推导，阐明批量归一化、残差连接和LSTM门等复杂组件。
• 支持对现代深度学习模型中梯度计算与权重更新机制的深层、直观理解。

提出的方法

• 使用指标符号推导前馈网络的反向传播规则，显式追踪每一层和激活函数的梯度。
• 将卷积层表示为矩阵乘法，并提供滤波器、特征图和填充的详细基于索引的公式。
• 通过完整推导，引入批量归一化，包括通过归一化激活的梯度更新，以及通过批量统计量的反向传播。
• 对残差网络（ResNet）模块进行完整推导，包括跳跃连接和通过残差恒等映射的梯度流动。
• 推导完整的LSTM架构（含peephole连接），包括输入门、遗忘门、候选门和输出门的独立梯度更新。
• 使用基于索引的求和公式，对所有组件（权重、偏置、缩放/偏移参数）提供权重更新规则，覆盖小批量和时间步长。

实验结果

研究问题

• RQ1 如何系统地使用指标符号推导并实现所有主要深度学习架构的反向传播？
• RQ2 批量归一化层的精确梯度更新规则是什么，包括其通过均值和方差计算的反向传播？
• RQ3 残差连接如何改变深层网络中的梯度流动和权重更新规则？
• RQ4 LSTM门更新及其梯度的精确数学公式是什么，包括peephole连接？
• RQ5 如何使用统一的、低层级的基于索引的形式化方法，对深度神经网络的所有组件（激活值、权重、归一化参数）进行更新？

主要发现

• 本文成功推导并呈现了前馈、卷积和循环神经网络的完整、基于索引的反向传播公式，使从零开始实现成为可能。
• 提供了批量归一化的显式梯度更新规则，包括通过批量统计量的反向传播，而这些在标准教程中常被省略。
• 残差连接（ResNet）的推导表明，跳跃连接通过恒等映射和残差学习，如何改变梯度流动和权重更新。
• 对于LSTM，本文推导了所有门（输入、遗忘、输出）及peephole连接的详细梯度更新，包括使用指标符号的完整时间反向传播。
• 该公式通过统一各层、激活函数、归一化和残差连接的梯度计算，支持复杂架构的端到端训练。
• 基于索引的方法可直接转化为可运行代码，作者的FNN、CNN和RNN-LSTM模型实现已验证其有效性。