[论文解读] Siamese Encoding and Alignment by Multiscale Learning with Self-Supervision

Eric Mitchell, Stefan Keselj+3 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Electron Microscopy Techniques and Applications参考文献 16被引用 13

一句话总结

本文提出 SEAMLeSS，一种使用孪生卷积编码器和多尺度对齐模块的自监督、自粗到精的图像对齐方法。通过学习层次化特征表示而非依赖图像金字塔，其在处理序列切片电子显微镜数据中的大位移和不连续形变时，相较于 SPyNet 和 FlowNet 等一次性方法，实现了更优的精度。

ABSTRACT

We propose a method of aligning a source image to a target image, where the transform is specified by a dense vector field. The two images are encoded as feature hierarchies by siamese convolutional nets. Then a hierarchy of aligner modules computes the transform in a coarse-to-fine recursion. Each module receives as input the transform that was computed by the module at the level above, aligns the source and target encodings at the same level of the hierarchy, and then computes an improved approximation to the transform using a convolutional net. The entire architecture of encoder and aligner nets is trained in a self-supervised manner to minimize the squared error between source and target remaining after alignment. We show that siamese encoding enables more accurate alignment than the image pyramids of SPyNet, a previous deep learning approach to coarse-to-fine alignment. Furthermore, self-supervision applies even without target values for the transform, unlike the strongly supervised SPyNet. We also show that our approach outperforms one-shot approaches to alignment, because the fine pathways in the latter approach may fail to contribute to alignment accuracy when displacements are large. As shown by previous one-shot approaches, good results from self-supervised learning require that the loss function additionally penalize non-smooth transforms. We demonstrate that "masking out" the penalty function near discontinuities leads to correct recovery of non-smooth transforms. Our claims are supported by empirical comparisons using images from serial section electron microscopy of brain tissue.

研究动机与目标

• 解决 SPyNet 的局限性，特别是其对大位移敏感以及对强监督的依赖。
• 克服 FlowNet 等一次性对齐方法在位移较大时的失败问题，原因在于其精细路径的接受感受野有限。
• 实现无需真实变换标签的自监督训练，扩展至缺乏标注对应关系的数据集的适用性。
• 提升序列切片电子显微镜（ssEM）图像的对齐效果，此类图像因物理切片产生复杂且非光滑的形变。
• 通过在检测到的不连续区域附近屏蔽平滑性惩罚，使方法能够正确恢复不连续变换（例如物体边界处的变换）。

提出的方法

• 使用孪生卷积神经网络在多个尺度上分别对源图像和目标图像编码为层次化特征图。
• 采用自粗到精的递归架构，其中每个对齐模块利用上一粗尺度的输出来优化变换。
• 通过最小化经过形变后的源图像与目标图像之间的平方误差，以自监督方式训练整个编码器-对齐器网络。
• 在损失函数中引入平滑性惩罚以鼓励变换的平滑性，但在检测到的不连续区域附近屏蔽该惩罚，以允许恢复非光滑形变。
• 采用多尺度优化策略：在最高 MIP 层初始化对齐，并通过上采样将变换结果逐步细化至较低层级。
• 利用学习到的特征而非原始像素金字塔，以保留全局上下文信息并提升对齐精度。

实验结果

研究问题

• RQ1 在自监督设置下，孪生特征编码是否相比图像金字塔能提升对齐精度？
• RQ2 在位移较大的情况下，采用学习特征的自粗到精递归架构是否优于 FlowNet 等一次性方法？
• RQ3 在非光滑形变（如 ssEM 图像中物体边界处）的情况下，带有屏蔽平滑性惩罚的自监督训练能否产生准确的对齐结果？
• RQ4 在不连续区域附近屏蔽平滑性惩罚是否对自监督学习中恢复不连续变换至关重要？
• RQ5 在精度和计算成本方面，SEAMLeSS 与推理时的直接优化方法相比表现如何？

主要发现

• SEAMLeSS 在对齐精度上优于 SPyNet，尤其在高 MIP 层次上表现更优，表明孪生特征编码比图像金字塔更能保留有用的全局上下文信息。
• 尽管 FlowNet 和 VoxelMorph 的精细路径接受感受野有限且在大位移下失效，SEAMLeSS 仍表现出更优的性能。
• 采用屏蔽平滑性惩罚的自监督训练使网络能够正确恢复 ssEM 图像中裂缝边界处的不连续形变。
• SEAMLeSS 的推理速度比直接优化方法快约两个数量级，同时保持了具有竞争力的精度。
• 直接优化在推理时能获得更好的平均性能和最佳情况性能，但在最坏情况场景下会因粗尺度处陷入局部极小值而彻底失败。
• 基于学习特征的递归多尺度优化提供了比一次性方法和直接优化方法更鲁棒、更准确的解决方案。