[论文解读] Deep Isometric Learning for Visual Recognition

Haozhi Qi, Chong You+3 more|arXiv (Cornell University)|Jun 30, 2020

Advanced Neural Network Applications被引用 24

一句话总结

本文提出等距网络（ISONet），一种深度学习框架，通过强制实现近似等距的权重初始化并采用正交卷积核与可学习的移位ReLU（SReLU）激活函数进行训练，仅使用卷积层和非线性激活函数——无需批归一化或跳跃连接——在图像识别基准上实现了最先进性能。该方法有效支持了超过100层网络的训练，并在COCO上超越标准ResNet，且无需归一化，证明了等距性作为深度网络设计统一原则的潜力。

ABSTRACT

Initialization, normalization, and skip connections are believed to be three indispensable techniques for training very deep convolutional neural networks and obtaining state-of-the-art performance. This paper shows that deep vanilla ConvNets without normalization nor skip connections can also be trained to achieve surprisingly good performance on standard image recognition benchmarks. This is achieved by enforcing the convolution kernels to be near isometric during initialization and training, as well as by using a variant of ReLU that is shifted towards being isometric. Further experiments show that if combined with skip connections, such near isometric networks can achieve performances on par with (for ImageNet) and better than (for COCO) the standard ResNet, even without normalization at all. Our code is available at https://github.com/HaozhiQi/ISONet.

研究动机与目标

• 探究等距性是否是实现非常深卷积网络有效训练的核心原则。
• 证明若在初始化和训练过程中保持等距性，纯卷积网络（无归一化或跳跃连接）也能实现优异性能。
• 开发一种仅依赖等距初始化与激活的极简但高效架构——ISONet，以匹配或超越标准ResNet的性能。
• 表明等距学习可替代归一化层，尤其在目标检测与实例分割等低批量设置中。
• 将深度学习中多样化的架构组件统一于等距性原则之下，提供一致的设计框架。

提出的方法

• 将卷积核初始化为克罗内克函数（单位矩阵），以在初始化时强制实现近似等距性。
• 在训练过程中对卷积核进行正则化，使其保持接近正交矩阵，从而在各层间维持等距特性。
• 引入一种可学习的移位ReLU（SReLU）激活函数，定义为 $\phi(x) = \max(0, x + b)$，其中 $b$ 为可训练参数，用于平衡非线性与等距性。
• 使用带有恒等跳跃连接的残差变体（R-ISONet），以进一步增强等距性与性能，尤其在低批量设置中。
• 使用标准反向传播训练网络，无需批归一化，完全依赖等距初始化与激活。
• 在ImageNet上评估分类性能，在COCO上评估目标检测与实例分割性能，以评估泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 若在训练过程中保持等距性，是否可有效训练无批归一化或跳跃连接的深度卷积网络？
• RQ2 通过核初始化与激活设计强制实现等距性，在图像识别基准上的性能提升程度如何？
• RQ3 在低批量设置（如COCO目标检测）中，等距学习与基于归一化的标准架构（如ResNet）相比表现如何？
• RQ4 等距性是否可作为统一原则，解释深度学习中多样化架构组件的有效性？
• RQ5 SReLU中的可学习偏移参数对平衡深度网络中非线性与等距行为的影响如何？

主要发现

• ISONet在超过100层的ImageNet上实现了具有竞争力的性能，即使无批归一化或跳跃连接，证明了在等距约束下极简架构的可行性。
• R-ISONet在COCO目标检测与实例分割任务上优于标准ResNet，尤其在低批量设置中，此时批归一化性能下降。
• 使用带偏移参数的可学习SReLU相比标准ReLU显著提升了训练稳定性和性能，尤其在深层网络中。
• 训练过程中对卷积核施加正交正则化可维持等距特性，从而在极深网络中实现稳定的梯度流动。
• 实证结果表明，等距初始化与激活设计可替代归一化层，减少推理开销，并在低批量设置中提升鲁棒性。
• 理论与实证证据表明，等距学习可将残差学习、归一化与激活设计等多种技术统一于单一指导原则之下。