[论文解读] EGSDE: Unpaired Image-to-Image Translation via Energy-Guided Stochastic Differential Equations

Min Zhao, Fan Bao+2 more|arXiv (Cornell University)|Jul 14, 2022

Cancer-related molecular mechanisms research被引用 70

一句话总结

EGSDE 使用在源域和目标域上共同训练的能量函数来引导预训练的基于分数的扩散模型，从而在无配对的 I2I 翻译中实现更真实且更忠实的结果。它提供一种专家乘积的解释，并展示在 AFHQ 与 CelebA-HQ 任务上实现了最先进的真实度，同时保持忠实度。

ABSTRACT

Score-based diffusion models (SBDMs) have achieved the SOTA FID results in unpaired image-to-image translation (I2I). However, we notice that existing methods totally ignore the training data in the source domain, leading to sub-optimal solutions for unpaired I2I. To this end, we propose energy-guided stochastic differential equations (EGSDE) that employs an energy function pretrained on both the source and target domains to guide the inference process of a pretrained SDE for realistic and faithful unpaired I2I. Building upon two feature extractors, we carefully design the energy function such that it encourages the transferred image to preserve the domain-independent features and discard domain-specific ones. Further, we provide an alternative explanation of the EGSDE as a product of experts, where each of the three experts (corresponding to the SDE and two feature extractors) solely contributes to faithfulness or realism. Empirically, we compare EGSDE to a large family of baselines on three widely-adopted unpaired I2I tasks under four metrics. EGSDE not only consistently outperforms existing SBDMs-based methods in almost all settings but also achieves the SOTA realism results without harming the faithful performance. Furthermore, EGSDE allows for flexible trade-offs between realism and faithfulness and we improve the realism results further (e.g., FID of 51.04 in Cat to Dog and FID of 50.43 in Wild to Dog on AFHQ) by tuning hyper-parameters. The code is available at https://github.com/ML-GSAI/EGSDE.

研究动机与目标

• 利用源领域训练数据在无配对 I2I 中通过能量引导来提升效果的动机。
• 设计一个在两个领域上都进行训练的能量函数，以在真实感与忠实度之间取得平衡。
• 在翻译过程中保持领域无关特征，同时舍弃领域特定特征。
• 为 EGSDE 框架提供作为专家乘积的理论解释。
• 在标准无配对 I2I 基准测试上进行实证验证，并展示性能提升。

提出的方法

• 通过反向时间 SDE 形式化条件分布 p(y0|x0)，在预训练的 SDE 中集成一个能量项（Eq. 6）。
• 定义 E(y,x,t) 为两个对数势能 E = lambda_s E_s + lambda_i E_i 的和（Eq. 7）。
• E_s 使用一个随时间变化的领域特征提取器来最大化与源的相似性（Eq. 9）。
• E_i 使用一个领域无关的低通特征提取器来惩罚与源的差异（Eq. 10）。
• 用包含梯度 grad_y E 的 Euler-Maruyama 更新求解能量引导的反向时间 SDE（Eq. 12）。
• 提供一个专家乘积解释，表明 p(y_t|x0) ≈ p_r1(y_t|x0) p_e(y_t|x0) / Z_t（Eq. 13），并将其与三专家系统相关（Eq. 16）。

实验结果

研究问题

• RQ1 一个在源域和目标域上预训练的能量函数是否能在无配对 I2I 中超越仅使用目标域扩散的效果，从而提升真实感和忠实度？
• RQ2 应如何构建能量函数以促进领域无关特征的保持，同时舍弃领域特定特征？
• RQ3 所提出的 EGSDE 框架是否在标准任务上优于基于 SBDM 的和基于 GAN 的无配对 I2I 基线？
• RQ4 该方法是否允许在真实感和忠实度之间进行可控的权衡？
• RQ5 是否存在对 EGSDE 的专家乘积理论解释，以澄清 SDE 与能量分量的作用？

主要发现

• EGSDE 在 Cat→Dog、Wild→Dog、Male→Female 任务上始终在真实感和忠实度方面超越基于 SBDMs 的基线。
• EGSDE 在 AFHQ 对比上实现了最先进的真实感，同时不损害忠实度。
• 对超参数 (λs, λi) 和初始时间 M 的调优能够获得可控的真实感-忠实度权衡，提升真实感指标。
• 与 SDEdit 相比，EGSDE 在 AFHQ 基准上的 FID 显著提升（表中示例）。
• 人类评估（AMT）表明在配对比较中，EGSDE 相对于基线更受欢迎。
• 该方法在 FID 得分更低、PSNR/SSIM 具备竞争力，显示出整体图像质量较强。