[论文解读] Locally Smoothed Neural Networks

Liang Pang, Yanyan Lan+3 more|arXiv (Cornell University)|Nov 22, 2017

Face and Expression Recognition参考文献 17被引用 3

一句话总结

该论文提出了一种新型架构——局部平滑神经网络（LSNN），通过将局部连接层的权重矩阵分解为核矩阵和内容与位置感知的平滑器，增强了局部感受野建模能力。采用多变量高斯函数生成平滑器，LSNN能够捕捉感受野之间的空间关系及其与内容相关的权重重要性，在MNIST变体任务上表现优于CNN和局部连接层，尤其在需要选择性关注多个相关区域的任务中表现突出。

ABSTRACT

Convolutional Neural Networks (CNN) and the locally connected layer are limited in capturing the importance and relations of different local receptive fields, which are often crucial for tasks such as face verification, visual question answering, and word sequence prediction. To tackle the issue, we propose a novel locally smoothed neural network (LSNN) in this paper. The main idea is to represent the weight matrix of the locally connected layer as the product of the kernel and the smoother, where the kernel is shared over different local receptive fields, and the smoother is for determining the importance and relations of different local receptive fields. Specifically, a multi-variate Gaussian function is utilized to generate the smoother, for modeling the location relations among different local receptive fields. Furthermore, the content information can also be leveraged by setting the mean and precision of the Gaussian function according to the content. Experiments on some variant of MNIST clearly show our advantages over CNN and locally connected layer.

研究动机与目标

• 解决CNN和局部连接层在建模局部感受野重要性与空间关系方面的局限性。
• 使神经网络能够基于内容与空间上下文动态聚焦于图像中的相关区域。
• 设计一种可微且可学习的机制，平衡CNN的平移不变性与局部连接层的灵活性。
• 提升在需要选择性注意的任务（如视觉问答和杂乱场景中的多数字识别）上的性能。

提出的方法

• 将局部连接层的权重矩阵分解为共享核与平滑器矩阵的乘积。
• 使用多变量高斯函数生成平滑器，编码局部感受野之间的空间接近度与相关性。
• 通过回归头根据输入内容调整高斯函数的均值与精度，实现内容依赖的注意力机制。
• 采用端到端反向传播进行训练，使平滑器能够从数据中自动学习。
• 通过为每个目标区域使用独立的高斯组，将LSNN扩展至多目标注意力机制。
• 将LSNN集成到CNN框架中，使其在分类前能够关注相关图像块。

实验结果

研究问题

• RQ1 可学习的平滑器是否能超越CNN中固定的权重共享机制，更优地建模局部感受野的重要性？
• RQ2 基于内容的平滑器能否自动根据上下文线索识别出相关图像区域？
• RQ3 LSNN能否有效关注单张图像中多个相关区域（如杂乱场景中的多个数字）？
• RQ4 在结构化局部特征任务中，LSNN与CNN及局部连接层在准确率与泛化能力方面相比如何？
• RQ5 通过多变量高斯函数实现的空间平滑结构是否能提升注意力机制的定位精度与鲁棒性？

主要发现

• 在杂乱MNIST序列任务中，LSNN的错误率为6.18%，显著优于局部连接层（13.5%）和卷积层（23.97%）。
• 基于内容的平滑器使LSNN能够自动聚焦于箭头所指的数字，即使箭头位置变化也能保持准确。
• 可视化结果证实，LSNN的平滑器准确集中于正确数字区域，且注意力机制与分类网络相互独立。
• 在多数字场景中，LSNN通过多个基于高斯的平滑器成功识别并关注了三个空间上相关联的独立数字。
• 实验表明，空间平滑性与内容感知能力的协同作用显著提升了复杂杂乱环境下的性能。
• LSNN被证明是CNN（平滑器完全相同）与局部连接层（平滑器自由）的推广，提供了从不变性到灵活性的连续权衡。