[论文解读] A Novel BiLevel Paradigm for Image-to-Image Translation

Liqian Ma, Qianru Sun+2 more|arXiv (Cornell University)|Apr 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 5

一句话总结

本文提出了一种用于图像到图像翻译的新型双层（BiL）学习范式，该范式在通用模型（GP）和实例特定模型（IS）之间交替训练，实现了仅用少量少样本数据即可快速适应新场景。通过使用GP参数初始化IS模型，并利用相似场景的辅助微调，该方法显著提升了图像质量与身份保留性能，在人脸和街景数据集上优于基线模型如PG 2和Pix2Pix。

ABSTRACT

Image-to-image (I2I) translation is a pixel-level mapping that requires a large number of paired training data and often suffers from the problems of high diversity and strong category bias in image scenes. In order to tackle these problems, we propose a novel BiLevel (BiL) learning paradigm that alternates the learning of two models, respectively at an instance-specific (IS) and a general-purpose (GP) level. In each scene, the IS model learns to maintain the specific scene attributes. It is initialized by the GP model that learns from all the scenes to obtain the generalizable translation knowledge. This GP initialization gives the IS model an efficient starting point, thus enabling its fast adaptation to the new scene with scarce training data. We conduct extensive I2I translation experiments on human face and street view datasets. Quantitative results validate that our approach can significantly boost the performance of classical I2I translation models, such as PG2 and Pix2Pix. Our visualization results show both higher image quality and more appropriate instance-specific details, e.g., the translated image of a person looks more like that person in terms of identity.

研究动机与目标

• 解决在配对训练数据有限的情况下，图像到图像翻译中高多样性与类别偏差的挑战。
• 仅使用少量训练图像，实现翻译模型对新场景的快速适应。
• 在多样化场景中学习可泛化的翻译知识，同时保留身份和细节等实例特定属性。
• 在低数据环境下提升图像质量，减少伪影，尤其在街景等复杂场景中表现更优。

提出的方法

• BiL范式在为新场景训练实例特定（IS）模型与使用IS模型的验证损失更新通用（GP）模型之间交替进行。
• GP模型在多样化场景上进行训练，以学习可泛化的翻译知识，随后用于初始化IS模型，实现快速适应。
• 基于结构信息的场景相似性度量用于识别相似场景，以指导GP模型的辅助微调。
• 辅助微调通过引入相似场景的数据增强GP模型，提升其在新IS任务中的初始化质量。
• IS模型从GP参数微调，仅使用目标场景的少量图像，从而保留身份与细节。
• 该框架与模型架构正交，无需修改架构即可提升现有模型（如PG 2和Pix2pix）的性能。

实验结果

研究问题

• RQ1 能否有效利用通用模型来初始化少样本图像到图像翻译中的实例特定模型？
• RQ2 如何高效识别并利用相似场景，以提升图像翻译中的少样本适应能力？
• RQ3 使用相似场景数据对GP模型进行辅助微调，是否能带来更好的泛化能力与IS模型性能提升？
• RQ4 BiL范式在低数据设置下，能在多大程度上减少伪影并改善身份保留？
• RQ5 与标准基线相比，BiL方法在多样且复杂的街景数据集上的表现如何？

主要发现

• 在FaceForensics数据集上，BiL-PG 2（5-shot）将LPIPS降低了49.8%，从0.106降至0.053，同时PSNR提升了4.61 dB。
• 在1-shot人脸翻译中，BiL-PG 2将LPIPS从0.100降至0.076，SSIM从0.584提升至0.655，展现出强大的泛化能力。
• 在具有挑战性的跨数据集街景设置中，BiL-PG 2（1-shot）将LPIPS降低了8.0%（从0.174降至0.160），SSIM提升了11.3%（从0.400升至0.445）。
• GP模型的输出可视化显示其学习到的通用知识表现为一张平均化的人脸，背景模糊，证实了其泛化能力。
• 辅助微调显著提升了性能，BiL-PG 2（1-shot）达到0.160的LPIPS与0.445的SSIM，优于基线模型PG 2（1-shot）的0.174 LPIPS与0.400 SSIM。
• 定性结果表明，该方法在身份保留（如头发、皮肤）和细节清晰度（如眼睛、玻璃窗）方面表现更优，尤其在复杂场景中优势明显。