[论文解读] Hierarchical Spatial Transformer Network

Chang Shu, Xi Chen+2 more|arXiv (Cornell University)|Jan 29, 2018

Advanced Image and Video Retrieval Techniques参考文献 16被引用 4

一句话总结

该论文提出了一种分层空间变换网络（HSTN），通过双分支CNN结合线性变换与光流估计，以建模图像的全局与局部形变。通过使用预训练STN权重初始化线性变换，并与基于光流的模块联合训练，HSTN在图像对齐和杂乱MNIST分类任务中实现了更高的精度与更快的速度，显著优于当前最先进方法。

ABSTRACT

Computer vision researchers have been expecting that neural networks have spatial transformation ability to eliminate the interference caused by geometric distortion for a long time. Emergence of spatial transformer network makes dream come true. Spatial transformer network and its variants can handle global displacement well, but lack the ability to deal with local spatial variance. Hence how to achieve a better manner of deformation in the neural network has become a pressing matter of the moment. To address this issue, we analyze the advantages and disadvantages of approximation theory and optical flow theory, then we combine them to propose a novel way to achieve image deformation and implement it with a hierarchical convolutional neural network. This new approach solves for a linear deformation along with an optical flow field to model image deformation. In the experiments of cluttered MNIST handwritten digits classification and image plane alignment, our method outperforms baseline methods by a large margin.

研究动机与目标

• 为解决空间变换网络（STN）在具备强大全局形变能力的同时，难以处理局部空间变化的问题。
• 通过引入分层结构并初始化线性变换，克服光流方法在大位移下失效的限制。
• 在深度学习框架中统一近似理论与光流理论，以改善图像形变建模。
• 实现端到端、无监督训练，无需真实标签即可完成图像对齐。
• 实现高精度、实时的图像形变，适用于集成到标准神经网络中。

提出的方法

• HSTN采用双分支分层CNN：一个分支估计线性变换（使用预训练STN权重初始化），另一个分支估计光流以捕捉残差局部形变。
• 输入图像首先经过线性变换，减少大位移，使光流估计满足亮度恒定性约束。
• 应用来自近似理论的弯曲能量惩罚与来自光流理论的平滑性惩罚，以正则化光流场。
• 通过在变形源图像与目标图像之间使用ℓ₂损失，以无监督方式端到端训练网络。
• 分层设计使线性模块负责粗对齐，光流模块负责精细校正形变。
• 该方法支持仿射、投影及薄板样条变换，实现灵活的空间变换。

实验结果

研究问题

• RQ1 分层深度学习架构能否有效同时建模全局与局部图像形变？
• RQ2 使用STN权重预初始化线性变换模块是否能提升图像对齐任务中的收敛速度与性能？
• RQ3 结合近似理论与光流理论是否能提升在大位移下的泛化能力与鲁棒性？
• RQ4 与基于STN和光流的基线方法相比，所提方法能否在无监督图像对齐中实现更高精度与更快速度？
• RQ5 分层设计是否能有效维持高性能，避免在标准光流方法失效的大位移场景下失败？

主要发现

• HSTN在图像平面配准任务中实现1.8088的终点误差（EPE），显著优于次优方法（LDOF为5.9467）。
• HSTN保持快速推理时间（0.0034秒），与其它STN基线方法相当，同时精度超过最快基线（Affine-STN）三倍以上。
• 在杂乱MNIST手写数字分类任务中，该方法优于所有STN变体与光流基线，展现出在几何失真下的强大泛化能力。
• 使用预训练STN权重初始化线性变换模块，可实现更快收敛与更优对齐性能。
• 通过初始线性形变减少大位移，HSTN成功满足光流约束，避免在大形变区域失效。
• 弯曲能量与平滑性惩罚的结合，使形变场更加稳定与真实，提升了视觉质量与对齐精度。