[论文解读] Adversarial Image Alignment and Interpolation

Viren Jain|arXiv (Cornell University)|Jun 30, 2017

Advanced Image Processing Techniques参考文献 9被引用 5

一句话总结

本文提出了一种新颖的对抗性深度学习方法，采用全卷积网络对体素3D显微镜数据中的无监督图像插值与亚像素级对齐进行处理。通过结合对抗性损失与监督像素损失，该方法能够合成缺失或受损的图像切片，并校正各向异性的分辨率，从而在无需真实对齐标签的情况下，实现对块面电子显微镜数据的高保真度超分辨率重建。

ABSTRACT

Volumetric (3d) images are acquired for many scientific and biomedical purposes using imaging methods such as serial section microscopy, CT scans, and MRI. A frequent step in the analysis and reconstruction of such data is the alignment and registration of images that were acquired in succession along a spatial or temporal dimension. For example, in serial section electron microscopy, individual 2d sections are imaged via electron microscopy and then must be aligned to one another in order to produce a coherent 3d volume. State of the art approaches find image correspondences derived from patch matching and invariant feature detectors, and then solve optimization problems that rigidly or elastically deform series of images into an aligned volume. Here we show how fully convolutional neural networks trained with an adversarial loss function can be used for two tasks: (1) synthesis of missing or damaged image data from adjacent sections, and (2) fine-scale alignment of block-face electron microscopy data. Finally, we show how these two capabilities can be combined in order to produce artificial isotropic volumes from anisotropic image volumes using a super-resolution adversarial alignment and interpolation approach.

研究动机与目标

• 解决在各向异性、块面电子显微镜数据中对齐与插值3D体素图像数据的挑战，其中人工或传统基于优化的对齐方法耗时且缺乏可扩展的监督。
• 开发一种无监督学习框架，通过对抗性训练实现图像合成与对齐，从而避免对昂贵的人工标注对齐标签的依赖。
• 通过将插值与对齐整合到单一端到端的对抗性网络中，实现对各向异性3D体数据的超分辨率重建。
• 证明对抗性损失可提升感知质量与亚像素级对齐效果，超越标准监督损失，即使在简单网络架构下亦然。

提出的方法

• 训练一个全卷积神经网络，通过结合L1像素级损失与判别器网络的对抗性损失，从相邻切片（k-1和k+1）插值生成缺失的2D图像切片。
• 对抗性损失应用于生成图像，以增强其真实感与结构一致性，从而在像素级重建之外提升感知质量。
• 训练一个独立的对抗性对齐网络，通过同时优化像素级一致性与对抗性真实感，预测相邻切片之间的精细形变。
• 超分辨率对齐与插值网络通过转置3D卷积进行上采样，并结合跳跃连接与对抗性训练，将各向异性的输入生成各向同性的3D体数据。
• 将判别器应用于重新切片的平面（xz与yz），以确保在不同方向上的一致特征学习，同时通过裁剪保持输入尺寸统一。
• 训练采用生成器与判别器之间的极小化极大目标，联合优化统一的超分辨率模型中的插值与对齐目标。

实验结果

研究问题

• RQ1 与标准监督学习相比，对抗性训练是否能提升3D显微镜图像堆栈中插值2D图像切片的感知质量与结构保真度？
• RQ2 对抗性损失函数是否能有效实现无监督的体素图像数据对齐，而无需真实形变标签？
• RQ3 单个神经网络在多大程度上可联合执行图像插值与对齐，以从各向异性的输入生成超分辨率各向同性3D体数据？
• RQ4 对抗性损失与像素级损失的组合如何影响块面电子显微镜中重建3D体数据的真实感与准确性？
• RQ5 该方法是否能泛化到包含缺失或受损切片的真实世界数据？与传统对齐流水线相比表现如何？

主要发现

• 所提出的对抗性插值网络即使在简单架构下，也显著提升了合成切片的视觉质量与结构保真度，优于基线监督模型。
• 对抗性对齐网络通过学习逼真的形变场，无需真实标签即可实现块面显微镜数据的精细对齐。
• 超分辨率对抗性对齐与插值网络成功地从各向异性的输入生成了各向同性的3D体数据，在z轴方向实现分辨率翻倍，同时保持结构一致性。
• 在小鼠皮层数据上的实验表明，该方法生成了具有更低伪影与更优切片间连续性的感知真实输出。
• 对抗性损失与L1损失的结合产生了比单一损失更锐利、更真实的结果，尤其在组织形态复杂的区域表现更优。
• 该方法对缺失或受损切片表现出鲁棒性，能基于邻近切片有效“幻觉”生成合理的图像内容。