[论文解读] Example-Guided Image Synthesis across Arbitrary Scenes using Masked Spatial-Channel Attention and Self-Supervision

Haitian Zheng, Haofu Liao+4 more|arXiv (Cornell University)|Apr 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 46被引用 4

一句话总结

本文提出了一种新颖的方法，用于在语义和结构各异的任意场景之间进行示例引导的图像合成，采用掩码空间-通道注意力（MSCA）模块和自监督学习。该方法实现了全局-局部特征的联合对齐与合成，在 COCO-stuff 数据集上取得了最先进性能，同时提升了可解释性，并在风格插值、外推和替换任务中展现出良好的泛化能力。

ABSTRACT

Example-guided image synthesis has recently been attempted to synthesize an image from a semantic label map and an exemplary image. In the task, the additional exemplar image provides the style guidance that controls the appearance of the synthesized output. Despite the controllability advantage, the existing models are designed on datasets with specific and roughly aligned objects. In this paper, we tackle a more challenging and general task, where the exemplar is an arbitrary scene image that is semantically different from the given label map. To this end, we first propose a Masked Spatial-Channel Attention (MSCA) module which models the correspondence between two arbitrary scenes via efficient decoupled attention. Next, we propose an end-to-end network for joint global and local feature alignment and synthesis. Finally, we propose a novel self-supervision task to enable training. Experiments on the large-scale and more diverse COCO-stuff dataset show significant improvements over the existing methods. Moreover, our approach provides interpretability and can be readily extended to other content manipulation tasks including style and spatial interpolation or extrapolation.

研究动机与目标

• 解决在图像合成中跨语义和结构差异较大的场景之间进行风格迁移的挑战。
• 克服先前方法依赖于示例图和标签图中对齐或相似物体的局限性。
• 在无需对齐训练数据的前提下，利用任意示例图像实现用户可控的风格合成。
• 设计一种自监督训练方案，避免依赖视频或成对的时间序列数据。
• 提供可解释性，并可扩展至风格插值和场景外推等任务。

提出的方法

• 引入掩码空间-通道注意力（MSCA）模块，用于建模语义标签图与示例图像特征之间的跨注意力。
• 解耦空间注意力与通道注意力，实现在未对齐场景中高效且可解释的特征传播。
• 引入特征掩码以过滤语义异常值，提升对应关系建模的准确性。
• 应用多尺度和分辨率扩展操作，以处理全局与局部特征对齐。
• 在对齐特征上使用 SPADE 实现空间可控的图像合成。
• 设计基于图像块的自监督任务，仅使用语义解析图像，实现无需视频或时间序列数据的端到端训练。

实验结果

研究问题

• RQ1 无视频或成对时间序列数据的情况下，自监督框架能否有效训练示例引导的图像合成模型？
• RQ2 具有空间-通道解耦特性的跨注意力机制能否在结构和语义差异较大的场景之间实现准确的特征对应？
• RQ3 该模型在任意场景迁移任务中的泛化能力如何，包括风格插值和外推？
• RQ4 与先前基于注意力的方法相比，所提出的 MSCA 模块在特征对齐和合成质量方面有何改进？
• RQ5 在将复杂多样的场景风格迁移到新语义布局时，模型能否保持风格一致性？

主要发现

• 所提方法在大规模 COCO-stuff 数据集上显著优于现有方法。
• 模型在多样且语义不同的场景中泛化良好，包括雪山、海滩、城市区域和沙漠。
• 仅通过极少修改且无需进一步训练，即可实现多示例风格之间的有效插值。
• 通过语义引导，在输入图像边界外生成合理内容，成功实现场景外推。
• 注意力机制提供了可解释性，可视化注意力图显示了有意义的语义到风格对应关系（如天空到云彩、雪地到沙地）。
• 自监督方案仅依赖语义标注即可实现有效训练，无需视频或成对时间序列数据。