[论文解读] Locally Scale-Invariant Convolutional Neural Networks

Angjoo Kanazawa, Abhishek Sharma+1 more|arXiv (Cornell University)|Dec 16, 2014

Advanced Neural Network Applications参考文献 14被引用 111

一句话总结

本文提出局部尺度不变卷积神经网络（SI-ConvNets），通过在不增加参数数量的前提下对不同尺度的响应进行池化，使单个滤波器能够跨多个尺度检测特征。该方法实现了更好的泛化能力并减少了过拟合，在训练数据较少的情况下，其在尺度变化的MNIST变体上优于标准卷积神经网络。

ABSTRACT

Convolutional Neural Networks (ConvNets) have shown excellent results on many visual classification tasks. With the exception of ImageNet, these datasets are carefully crafted such that objects are well-aligned at similar scales. Naturally, the feature learning problem gets more challenging as the amount of variation in the data increases, as the models have to learn to be invariant to certain changes in appearance. Recent results on the ImageNet dataset show that given enough data, ConvNets can learn such invariances producing very discriminative features [1]. But could we do more: use less parameters, less data, learn more discriminative features, if certain invariances were built into the learning process? In this paper we present a simple model that allows ConvNets to learn features in a locally scale-invariant manner without increasing the number of model parameters. We show on a modified MNIST dataset that when faced with scale variation, building in scale-invariance allows ConvNets to learn more discriminative features with reduced chances of over-fitting.

研究动机与目标

• 为解决标准卷积神经网络在学习多尺度特征时因冗余滤波器学习而导致的效率低下问题。
• 通过在每个卷积层中直接构建尺度不变性，减少过拟合和数据需求。
• 在保持与标准卷积神经网络相同参数数量的同时，提升在尺度变化下的泛化能力。
• 通过跨尺度共享特征学习，提高模型对测试数据中不熟悉尺度的鲁棒性。

提出的方法

• 在每个卷积层中，使用单个滤波器在多个尺度上应用，并通过逆变换对齐不同尺度的响应。
• 在尺度维度上应用最大池化，生成与标准卷积神经网络空间维度相同的局部尺度不变特征图。
• 尺度不变表示在层级别实现，而非网络级别，从而实现跨尺度的高效联合学习。
• 通过在不同尺度间共享权重，避免为每个尺度单独设置滤波器，从而减少参数数量。
• 该方法可无缝集成到现有卷积神经网络架构中，无需改变网络整体深度或结构。
• 通过在不同尺度间共享特征学习，使模型能够以更少的训练样本学习判别性特征。

实验结果

研究问题

• RQ1 我们能否通过在层级别显式编码尺度不变性，来提升卷积神经网络中特征学习的效率？
• RQ2 在神经网络架构中构建尺度不变性是否能减少过拟合和数据需求？
• RQ3 在训练和测试数据中存在尺度变化时，SI-ConvNets与标准卷积神经网络的性能表现如何比较？
• RQ4 SI-ConvNets是否能在训练数据中未充分表示的不熟悉尺度上实现更好的泛化能力？

主要发现

• 在存在尺度变化的测试数据上，SI-ConvNets相比标准卷积神经网络平均相对误差降低25%。
• 在极端尺度（0.4和1.6）下，SI-ConvNets分别实现20%和47%的相对误差降低，表现出更优的鲁棒性。
• 随着训练数据中尺度变化的增加，SI-ConvNets的误差增长速率比卷积神经网络更慢，表明其具备更好的可扩展性。
• 在训练数据有限的情况下，SI-ConvNets始终优于卷积神经网络，且仅当数据量增大时性能差距才逐渐缩小。
• 即使训练数据来自以尺度1为中心的高斯分布，SI-ConvNets在尺度极端区域仍保持更低的误差，表现出更优的泛化能力。
• 在参数数量相同的情况下，SI-ConvNets实现了更优的性能，证明尺度不变性可被高效嵌入模型中，而无需增加模型复杂度。