[论文解读] DeSTNet: Densely Fused Spatial Transformer Networks

Roberto Annunziata, Christos Sagonas+1 more|arXiv (Cornell University)|Jul 11, 2018

Advanced Neural Network Applications参考文献 27被引用 7

一句话总结

DeSTNet 提出了一种新颖的密集融合空间变换器网络架构，通过采用密集融合模式和一种新型的扩展-收缩融合模块，将多个空间变换器网络（STNs）进行融合，从而增强卷积神经网络（CNNs）的空间不变性。该方法在 MNIST、GTSRB 和一个真实世界的身份文档数据集上实现了最先进性能，准确率相比 STN 和 CSTN 最高提升 2.66%，并展现出对扰动更强的鲁棒性。

ABSTRACT

Modern Convolutional Neural Networks (CNN) are extremely powerful on a range of computer vision tasks. However, their performance may degrade when the data is characterised by large intra-class variability caused by spatial transformations. The Spatial Transformer Network (STN) is currently the method of choice for providing CNNs the ability to remove those transformations and improve performance in an end-to-end learning framework. In this paper, we propose Densely Fused Spatial Transformer Network (DeSTNet), which, to our best knowledge, is the first dense fusion pattern for combining multiple STNs. Specifically, we show how changing the connectivity pattern of multiple STNs from sequential to dense leads to more powerful alignment modules. Extensive experiments on three benchmarks namely, MNIST, GTSRB, and IDocDB show that the proposed technique outperforms related state-of-the-art methods (i.e., STNs and CSTNs) both in terms of accuracy and robustness.

研究动机与目标

• 解决由于仿射或透视变换引起的类内空间可变性过大导致的 CNN 性能下降问题。
• 克服顺序堆叠 STN 所带来的边界效应和特征图变换中误差累积的局限性。
• 通过一种新型的密集融合连接模式，提升多变换器对齐模块中的信息流动和参数更新效率。
• 开发一种鲁棒的、端到端可训练的框架，增强几何不变性，且不依赖数据增强或预定义的变换集合。
• 在基准数据集和真实世界数据集上展示卓越的性能和鲁棒性，特别是在高扰动水平下。

提出的方法

• 提出一种用于多个空间变换器网络（STNs）的密集融合连接模式，以全连接、信息丰富的融合结构替代顺序堆叠。
• 引入一种扩展-收缩融合模块，将多个 p-STNs（参数化 STNs）的预测结果进行融合，以增强特征表示和参数更新效率。
• 采用 p-STNs，其传播的是变换参数而非特征图，从而减少误差累积和边界效应。
• 在文档对齐任务中，使用平滑的 ℓ₁ 损失来训练定位网络，以预测角点。
• 在融合模块中采用类似残差的结构并引入跳跃连接，以稳定训练并改善梯度流动。
• 使用学习率衰减的随机梯度下降方法，对整个 DeSTNet 框架进行端到端训练。

实验结果

研究问题

• RQ1 与顺序或循环 STN 配置相比，多个 STNs 的密集融合模式是否能提升空间不变性和分类准确率？
• RQ2 所提出的扩展-收缩融合模块是否能增强多变换器对齐模块的鲁棒性和收敛性？
• RQ3 在高几何扰动水平下，DeSTNet 相比 STN 和 CSTN 的表现如何？
• RQ4 DeSTNet 是否能有效泛化到具有极端分辨率、光照和遮挡变化的真实世界、野外图像数据集？
• RQ5 密集融合在多阶段空间变换中在多大程度上减少了误差累积和边界效应？

主要发现

• 在 MNIST 基准测试中，DeSTNet 相比 CSTN 最高实现 2.66% 的准确率提升，表明性能显著增强。
• 在 GTSRB 数据集上，DeSTNet 相比 CSTN 将测试误差降低了 0.57%，表明泛化能力更强。
• 在 10% 至 30% 的扰动水平下，DeSTNet 性能仅下降 0.08%，而 CSTN 下降 1.90%，表明其具有更优的鲁棒性。
• 在 IDocDB 数据集的文档对齐任务中，DeSTNet-5 的 AUC@0.04 达到 0.77，优于 CSTN-5 的 0.72，表明角点预测更准确。
• 定性结果表明，与 CSTN 相比，DeSTNet 生成的平均图像更清晰，方差图更细，表明特征对齐更一致且准确。
• 扩展-收缩融合模块有助于降低测试误差，证实其在增强特征融合和模型稳定性方面的有效性。