[论文解读] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

Kaiming He, Xiangyu Zhang+2 more|arXiv (Cornell University)|Feb 6, 2015

Advanced Neural Network Applications参考文献 4被引用 1,008

一句话总结

本文提出了参数化修正线性单元（PReLU）激活函数，该函数在训练过程中学习负斜率参数，并提出了一种专为深度整流网络设计的新初始化方法。这些创新使得能够直接从零开始训练极深网络，在 ImageNet 2012 上实现 4.94% 的 top-5 错误率——超越人类水平表现（5.1%），并相较 ILSVRC 2014 冠军 GoogLeNet 实现了 26% 的相对性能提升。

ABSTRACT

Rectified activation units (rectifiers) are essential for state-of-the-art neural networks. In this work, we study rectifier neural networks for image classification from two aspects. First, we propose a Parametric Rectified Linear Unit (PReLU) that generalizes the traditional rectified unit. PReLU improves model fitting with nearly zero extra computational cost and little overfitting risk. Second, we derive a robust initialization method that particularly considers the rectifier nonlinearities. This method enables us to train extremely deep rectified models directly from scratch and to investigate deeper or wider network architectures. Based on our PReLU networks (PReLU-nets), we achieve 4.94% top-5 test error on the ImageNet 2012 classification dataset. This is a 26% relative improvement over the ILSVRC 2014 winner (GoogLeNet, 6.66%). To our knowledge, our result is the first to surpass human-level performance (5.1%, Russakovsky et al.) on this visual recognition challenge.

研究动机与目标

• 通过解决传统 ReLU 激活函数的局限性，提升深度神经网络在图像分类任务中的性能。
• 开发一种可学习的激活函数，能够泛化 ReLU 并自适应数据模式。
• 设计一种专为深度整流网络构建的稳健权重初始化方法，以实现极深架构的端到端训练。
• 在 ImageNet 2012 图像分类基准上实现最先进性能，超越人类水平准确率。

提出的方法

• 提出参数化修正线性单元（PReLU），定义为 f(y_i) = max(0, y_i) + a_i * min(0, y_i)，其中 a_i 是每个通道的可学习参数。
• 引入 PReLU 的通道共享变体，即在某一层中所有通道共享单个可学习参数 a。
• 推导出一种理论上的权重初始化方案，考虑整流器的非线性特性，确保极深网络中梯度流动的稳定性。
• 采用端到端反向传播，联合训练 PReLU 参数与其他网络权重，计算开销可忽略不计。
• 通过激进的数据增强和在 ImageNet 2012 上的大规模训练，提升泛化能力并减少过拟合。
• 采用多模型集成策略，进一步提升单模型结果之外的性能。

实验结果

研究问题

• RQ1 与固定 ReLU 相比，可学习的激活函数是否能提升深度网络的性能？
• RQ2 基于理论基础的初始化方法是否能实现极深整流网络的直接端到端训练？
• RQ3 深度 PReLU 网络是否能在 ImageNet 2012 上实现更高准确率，超越人类水平表现？
• RQ4 PReLU 和新初始化方法对极深架构中的收敛性和泛化能力有何影响？

主要发现

• 所提出的 PReLU 网络在 ImageNet 2012 测试集上实现了 4.94% 的 top-5 错误率，这是首个报告结果超越人类水平表现（5.1%）的模型。
• 该方法相较 ILSVRC 2014 冠军 GoogLeNet（top-5 错误率为 6.66%）实现了 26% 的相对性能提升。
• PReLU 激活函数在计算开销可忽略不计的前提下，显著提升了模型拟合能力，并最小化了过拟合风险。
• 新初始化方法使深度网络（最多 30 层权重）能够直接从零开始稳定训练。
• 与团队在 ILSVRC 2014 竞赛中的结果相比，该模型在 824 个类别中降低了 top-5 错误率，后者平均错误率为 8.06%。
• 该方法在细粒度识别任务中表现出色，能够正确分类人类难以识别的类别，如 'coucal' 和 'yellow lady’s slipper'。