[论文解读] Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform

Xintao Wang, Ke Yu+2 more|arXiv (Cornell University)|Apr 9, 2018

Advanced Image Processing Techniques参考文献 38被引用 102

一句话总结

引入 Spatial Feature Transform (SFT) 层来对单个 SR 网络进行语义分割先验条件化，在单次前向传播中实现现实且类别特定的纹理恢复。

ABSTRACT

Despite that convolutional neural networks (CNN) have recently demonstrated high-quality reconstruction for single-image super-resolution (SR), recovering natural and realistic texture remains a challenging problem. In this paper, we show that it is possible to recover textures faithful to semantic classes. In particular, we only need to modulate features of a few intermediate layers in a single network conditioned on semantic segmentation probability maps. This is made possible through a novel Spatial Feature Transform (SFT) layer that generates affine transformation parameters for spatial-wise feature modulation. SFT layers can be trained end-to-end together with the SR network using the same loss function. During testing, it accepts an input image of arbitrary size and generates a high-resolution image with just a single forward pass conditioned on the categorical priors. Our final results show that an SR network equipped with SFT can generate more realistic and visually pleasing textures in comparison to state-of-the-art SRGAN and EnhanceNet.

研究动机与目标

• 利用语义类别先验来推动并解决在 SR 中恢复真实纹理的挑战。
• 开发一种参数高效的条件化机制，以在空间上调制 SR 特征。
• 证明以分割引导的纹理生成在感知质量上优于先前的 SRGAN/EnhanceNet 基线。
• 使用标准损失实现带有条件 SFT 层的 SR 网络的端到端训练。

提出的方法

• 提出 Spatial Feature Transform (SFT) 层，从分割概率图生成每个位置的仿射参数（gamma, beta）。
• 在单个 SR 网络中插入 SFT 层，以在中间层进行空间感知的特征调制。
• 使用一个条件网络生成共享条件图，广播到所有 SFT 层以提高效率。
• 用感知损失和对抗损失（GAN）训练生成器，使用基于 VGG 的感知损失和一个以类别标签为条件的判别器。
• 利用分割概率图作为先验；分割网络对 LR 放大输入进行处理以产生用于条件的 P 图。
• 证明该方法可以在单次前向传播中以语义先验为条件生成 HR 输出。

实验结果

研究问题

• RQ1 语义分割先验能否引导 SR 生成与语义类别相符的纹理？
• RQ2 相对于先前的 SRGAN/EnhanceNet 方法，空间条件特征变换是否能改进纹理现实感？
• RQ3 通过共享条件机制，将空间先验高效注入 SR 网络是否可行？
• RQ4 以分割图为条件的 SR 在不同户外场景类别（例如天空、建筑、草地、水、植物、动物）上的表现如何？

主要发现

• SFT-GAN 在用户研究中生成的纹理比 SRGAN 和 EnhanceNet 更丰富、更真实，覆盖定义的户外类别。
• 由于空间调制，模型在语义区域之间边界清晰，感知结果更优。
• 调制参数（gamma, beta）与分割概率图相关，并保持空间区域边界。
• 仅需单次前向传播，结合分割图条件的 SFT 层即可产生高质量的 HR 纹理。
• 定性结果显示动物皮毛、建筑砖纹和草纹理的纹理保真度优于基线。