[论文解读] Mix and match networks: encoder-decoder alignment for zero-pair image translation

Yaxing Wang, Joost van de Weijer+1 more|arXiv (Cornell University)|Apr 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 8

一句话总结

本文提出混合匹配网络（mix and match networks），一种用于零样本配对图像翻译的框架，通过在共享潜在空间中对齐多个编码器-解码器对，实现未见图像到图像的翻译。通过利用自编码器、辅助信息（如池化索引）和一致性损失，该方法在零样本深度到语义分割翻译任务中达到最先进性能，并在可扩展的无配对风格迁移中表现优异，mIoU 指标超越 CycleGAN 和 pix2pix 基线模型超过 2 倍。

ABSTRACT

We address the problem of image translation between domains or modalities for which no direct paired data is available (i.e. zero-pair translation). We propose mix and match networks, based on multiple encoders and decoders aligned in such a way that other encoder-decoder pairs can be composed at test time to perform unseen image translation tasks between domains or modalities for which explicit paired samples were not seen during training. We study the impact of autoencoders, side information and losses in improving the alignment and transferability of trained pairwise translation models to unseen translations. We show our approach is scalable and can perform colorization and style transfer between unseen combinations of domains. We evaluate our system in a challenging cross-modal setting where semantic segmentation is estimated from depth images, without explicit access to any depth-semantic segmentation training pairs. Our model outperforms baselines based on pix2pix and CycleGAN models.

研究动机与目标

• 解决源域与目标域之间不存在配对训练数据的零样本配对图像翻译问题。
• 实现在无需微调的情况下，将已训练的图像翻译模型迁移至未见的领域组合。
• 提升编码器与解码器之间的对齐程度，以增强在多样化模态与领域间的泛化能力。
• 通过线性而非二次复杂度的方式，将无配对图像翻译扩展至多个领域。

提出的方法

• 在可用的配对数据（如 RGB 到深度、RGB 到语义分割）上训练多个编码器-解码器对，并实现共享潜在空间对齐。
• 利用自编码器正则化潜在表征，提升重建质量。
• 将池化索引作为辅助信息，以在翻译过程中保留空间结构。
• 应用潜在空间一致性损失，对齐不同编码器与解码器之间的表征。
• 在推理阶段通过拼接源域编码器与目标域解码器，组合生成未见的翻译结果。
• 通过加权平均融合来自多种模态（如 RGB 和深度）的潜在向量，将框架扩展至多模态输入。

实验结果

研究问题

• RQ1 在有限配对数据上训练的编码器-解码器对是否可通过对齐实现在未见领域间的零样本配对翻译？
• RQ2 如池化索引等辅助信息在零样本配对翻译中如何改善空间结构的重建质量？
• RQ3 一致性损失与噪声注入在多领域间迁移能力方面的提升程度如何？
• RQ4 与传统无配对方法相比，混合匹配框架在扩展至多个领域时是否具备高效可扩展性？
• RQ5 该方法在无任何配对训练数据的情况下，是否能有效泛化至具有挑战性的跨模态任务（如深度到语义分割）？

主要发现

• 与基线模型相比，该方法在零样本配对深度到语义分割翻译任务中，mIoU 指标从约 12% 提升至约 27%，提升超过 2 倍。
• 混合匹配网络在零样本配对深度到语义分割翻译中优于 pix2pix 和 CycleGAN 模型，其中最佳配置（D→S）显著识别出语义类别与轮廓。
• 以池化索引形式存在的辅助信息可提升重建质量，尤其在多模态设置下表现稳健，并对模态变化具有鲁棒性。
• 该框架实现了可扩展的无配对图像翻译：仅需 N−1 个编码器与 N 个解码器即可支持 N 个领域，将复杂度从 O(N²) 降低至 O(N)。
• 在风格迁移与色彩化任务中，基于多个 CycleGAN 的混合匹配网络成功实现了对 11 种颜色与 5 种艺术风格的未见翻译，且无需重新训练。
• 跨模态一致性损失与潜在空间噪声注入进一步提升了零样本设置下的性能与泛化能力。