[论文解读] Bi-level Feature Alignment for Versatile Image Translation and Manipulation

Fangneng Zhan, Yingchen Yu+6 more|arXiv (Cornell University)|Jul 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 92被引用 5

一句话总结

该论文提出RABIT，一种用于多功能图像翻译与操作的新型双层特征对齐框架，通过结合可微分的top-k排序与密集注意力机制，有效降低计算成本，实现高保真、风格准确的图像生成。该方法引入语义位置编码以保持结构一致性，并设计置信度特征注入模块以应对语义不匹配问题，在定量指标与用户研究中均优于SOTA方法。

ABSTRACT

Generative adversarial networks (GANs) have achieved great success in image translation and manipulation. However, high-fidelity image generation with faithful style control remains a grand challenge in computer vision. This paper presents a versatile image translation and manipulation framework that achieves accurate semantic and style guidance in image generation by explicitly building a correspondence. To handle the quadratic complexity incurred by building the dense correspondences, we introduce a bi-level feature alignment strategy that adopts a top-$k$ operation to rank block-wise features followed by dense attention between block features which reduces memory cost substantially. As the top-$k$ operation involves index swapping which precludes the gradient propagation, we approximate the non-differentiable top-$k$ operation with a regularized earth mover's problem so that its gradient can be effectively back-propagated. In addition, we design a novel semantic position encoding mechanism that builds up coordinate for each individual semantic region to preserve texture structures while building correspondences. Further, we design a novel confidence feature injection module which mitigates mismatch problem by fusing features adaptively according to the reliability of built correspondences. Extensive experiments show that our method achieves superior performance qualitatively and quantitatively as compared with the state-of-the-art.

研究动机与目标

• 解决图像翻译与操作中高保真图像生成与忠实风格控制的挑战。
• 降低条件输入与样本之间密集特征对应关系构建的二次方内存开销。
• 在样本变形过程中，通过引入超越语义相似度的空间一致性，保持纹理结构。
• 通过自适应特征融合缓解条件输入与样本之间语义不匹配导致的错误风格迁移。
• 实现一致语义与忠实风格的多功能、高分辨率图像翻译与编辑。

提出的方法

• 提出一种基于top-k排序操作的双层特征对齐策略，用于选择相关特征块，随后在这些块之间应用密集注意力机制，将内存开销从O(L²)降低至O(N² + b²)。
• 通过正则化Earth Mover’s问题对非可微的top-k操作进行可微近似，以支持梯度反向传播。
• 设计语义位置编码（SPE）机制，为不同区域分配特定坐标，以在特征对齐过程中保持纹理模式。
• 开发置信度特征注入（CONFI）模块，根据建立的对应关系的可靠性，自适应融合来自条件输入和变形样本的特征。
• 采用排名与注意力机制（RAS），实现在条件输入与样本图像之间高效、高分辨率的特征匹配。
• 使用基于GAN的生成器，结合对抗损失与感知损失，以确保图像的真实感与高保真度。

实验结果

研究问题

• RQ1 如何在不产生二次方内存开销的前提下，高效构建条件输入与样本之间的密集特征对应关系？
• RQ2 如何使top-k操作可微，以支持特征匹配中的端到端训练？
• RQ3 当仅依赖语义对应关系时，如何在样本变形过程中保持细粒度纹理结构？
• RQ4 如何处理条件输入与样本之间的语义不匹配，以防止错误的风格迁移？
• RQ5 与SOTA方法相比，所提方法在视觉质量与风格一致性方面提升程度如何？

主要发现

• 在ADE20K数据集上，RABIT实现了26.61的最低Fréchet Inception Distance（FID），优于所有SOTA方法。
• 在CelebA-HQ数据集上，RABIT的FID为60.87，IS为21.07，显著优于MaskGAN（FID: 80.89，IS: 23.86）。
• 在Amazon Mechanical Turk上的用户研究显示，RABIT在多个数据集上均获得图像质量与风格一致性方面的最高平均评分。
• 在ADE20K上，RABIT的Inception Score（IS）达到0.823，远超次优方法（0.744）。
• 定性结果表明，与SOTA方法相比，RABIT生成的图像具有更清晰的纹理、更好的语义一致性以及更忠实的风格迁移。
• 消融实验验证了SPE、CONFI以及可微top-k各模块对性能提升均有显著贡献。