[论文解读] Deep Pyramidal Residual Networks

Dongyoon Han, Jiwhan Kim+1 more|arXiv (Cornell University)|Oct 10, 2016

Advanced Neural Network Applications参考文献 31被引用 29

一句话总结

本文提出了深度金字塔残差网络（PyramidNet），该网络在所有层中逐渐增加特征图维度，而非在下采样单元处急剧增加。通过更均匀地分配容量并引入一种带有零填充捷径的新型残差单元，PyramidNet 在 CIFAR-10、CIFAR-100 和 ImageNet 上实现了最先进的泛化性能，使用 320×320 裁剪图像时在 ImageNet 上的 top-1 错误率降低至 19.6%。

ABSTRACT

Deep convolutional neural networks (DCNNs) have shown remarkable performance in image classification tasks in recent years. Generally, deep neural network architectures are stacks consisting of a large number of convolutional layers, and they perform downsampling along the spatial dimension via pooling to reduce memory usage. Concurrently, the feature map dimension (i.e., the number of channels) is sharply increased at downsampling locations, which is essential to ensure effective performance because it increases the diversity of high-level attributes. This also applies to residual networks and is very closely related to their performance. In this research, instead of sharply increasing the feature map dimension at units that perform downsampling, we gradually increase the feature map dimension at all units to involve as many locations as possible. This design, which is discussed in depth together with our new insights, has proven to be an effective means of improving generalization ability. Furthermore, we propose a novel residual unit capable of further improving the classification accuracy with our new network architecture. Experiments on benchmark CIFAR-10, CIFAR-100, and ImageNet datasets have shown that our network architecture has superior generalization ability compared to the original residual networks. Code is available at https://github.com/jhkim89/PyramidNet}

研究动机与目标

• 为解决残差网络中容量集中在下采样单元的问题，该问题限制了泛化能力并使模型对单元移除敏感。
• 通过将特征图维度的增加分布于所有层而非集中于下采样模块，以改善泛化性能。
• 开发一种带有零填充恒等捷径的新型残差单元，以增强深层网络的性能。
• 通过在 CIFAR 和 ImageNet 基准上的大量实验，验证金字塔架构的有效性。

提出的方法

• 提出一种深度金字塔残差网络（PyramidNet），在每一层逐渐增加通道数，从输入到输出形成类似金字塔的结构。
• 引入一种新型残差单元，其带有零填充的恒等捷径，可在实现残差学习的同时实现特征图维度的平滑增长。
• 采用加法和乘法两种变体的 PyramidNet，以比较线性与乘法式特征图缩放在各层上的影响。
• 在最后几层使用批量归一化、ReLU 和全局平均池化，并在 ImageNet 训练中采用标准数据增强。
• 使用带有余弦衰减和学习率调度的随机梯度下降进行模型训练，并在标准基准上评估 top-1 错误率。
• 在主要对比实验中不使用 dropout 或随机深度，以确保与最先进模型的公平比较。

实验结果

研究问题

• RQ1 在所有层中逐渐增加特征图维度是否能提升深层残差网络的泛化性能？
• RQ2 将容量更均匀地分布在全网络中是否能降低对单个残差单元移除的敏感性？
• RQ3 带有零填充捷径的新型残差单元是否能进一步提升性能，超越标准残差单元？
• RQ4 与传统的乘法式缩放相比，金字塔架构在模型容量和准确率方面表现如何？

主要发现

• 当 α=300 时，PyramidNet 在 ImageNet-1k 上的 top-1 错误率为 20.5%，优于参数数量相近的预激活 ResNet-200。
• 在 320×320 裁剪图像下，PyramidNet 将 top-1 错误率降低至 19.6%，优于预激活 ResNet 和 Inception-ResNet-v2 在 ImageNet 上的表现。
• 加法型 PyramidNet 变体（线性增加特征图）在模型容量增加时表现优于乘法型变体，表明输入侧容量更具优势。
• 即使在移除下采样单元后，该模型仍能保持良好性能，支持了残差网络的集成解释。
• 在 CIFAR-10 和 CIFAR-100 上，该模型以更少的参数实现了最先进的性能，并展现出更优的泛化能力。
• 金字塔设计的洞察具有通用性，可推广应用于改进其他深层网络架构。