[论文解读] Cooperative Training of Fast Thinking Initializer and Slow Thinking Solver for Conditional Learning

Jianwen Xie, Zilong Zheng+3 more|arXiv (Cornell University)|Feb 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 77被引用 5

一句话总结

该论文提出CCoopNets，一种协作学习框架，联合训练一个快速思考的初始化器和一个慢速思考的求解器，用于条件生成任务。初始化器提供直接的、与噪声相关的初始输出，而求解器则通过基于学习的能量函数的迭代优化来改进该输出；两个模型通过将优化知识蒸馏回初始化器实现协同进化，在图像到图像翻译和图像修复任务中达到最先进性能。

ABSTRACT

This paper studies the problem of learning the conditional distribution of a high-dimensional output given an input, where the output and input may belong to two different domains, e.g., the output is a photo image and the input is a sketch image. We solve this problem by cooperative training of a fast thinking initializer and slow thinking solver. The initializer generates the output directly by a non-linear transformation of the input as well as a noise vector that accounts for latent variability in the output. The slow thinking solver learns an objective function in the form of a conditional energy function, so that the output can be generated by optimizing the objective function, or more rigorously by sampling from the conditional energy-based model. We propose to learn the two models jointly, where the fast thinking initializer serves to initialize the sampling of the slow thinking solver, and the solver refines the initial output by an iterative algorithm. The solver learns from the difference between the refined output and the observed output, while the initializer learns from how the solver refines its initial output. We demonstrate the effectiveness of the proposed method on various conditional learning tasks, e.g., class-to-image generation, image-to-image translation, and image recovery. The advantage of our method over GAN-based methods is that our method is equipped with a slow thinking process that refines the solution guided by a learned objective function.

研究动机与目标

• 解决输入与输出属于不同领域（如草图到图像或类别到图像生成）的高维条件分布学习挑战。
• 通过引入由学习目标函数引导的结构化、迭代式优化过程，克服基于GAN方法的局限性。
• 开发一种联合训练范式，使快速初始化器与慢速求解器通过知识蒸馏相互提升。
• 通过结合直接映射与迭代优化，实现条件学习任务中鲁棒且高质量的生成。
• 通过结合神经网络初始化器与基于Langevin动力学的求解器，提升图像修复性能。

提出的方法

• 快速思考的初始化器使用神经网络将条件和噪声向量直接映射到初始输出，通过祖先采样实现快速生成。
• 慢速思考的求解器采用由学习能量函数定义的条件能量模型，通过Langevin动力学采样引导迭代优化。
• 求解器通过最小化能量函数来优化初始化器的输出，通过随机梯度步长有效优化解。
• 初始化器通过利用其初始输出与求解器优化后输出之间的差异作为监督信号，学习预测求解器的优化输出。
• 求解器通过将能量函数的最小值调整至观测到的真实输出，以优化后的输出为目标，自适应调整目标函数。
• 联合训练通过在求解（优化初始输出）与学习（基于优化结果与真实观测差异更新两个模型）之间交替进行。

实验结果

研究问题

• RQ1 结合快速思考与慢速思考的协作训练框架是否能超越端到端的GAN或变分自编码器，在条件生成任务中实现更优性能？
• RQ2 通过学习能量函数引导的迭代优化过程，在多大程度上提升了生成结果的质量与多样性？
• RQ3 慢速思考求解器在多大程度上能优化快速思考初始化器的输出，以实现与真实数据更好的对齐？
• RQ4 初始化器与求解器之间的相互知识蒸馏，是否能提升图像到图像翻译与修复任务中的泛化能力与鲁棒性？
• RQ5 在定量指标与定性样本质量方面，该协作框架是否优于现有的对抗性与变分方法？

主要发现

• 在CMP Facade数据集上，CCoopNets实现了PSNR为20.47、SSIM为0.77，优于cVAE-GAN（19.43, 0.68）、cVAE-GAN++（19.14, 0.64）、BicycleGAN（19.07, 0.64）和pix2pix（19.34, 0.74）。
• 在Paris Streetview数据集上，CCoopNets实现了PSNR为21.17、SSIM为0.79，优于所有基线模型，包括pix2pix（15.17, 0.75）。
• 仅使用求解器组件生成的结果质量高于初始化器，表明通过Langevin动力学实现的迭代优化具有显著有效性。
• CCoopNets的模型复杂度（55.84M参数）低于cVAE-GAN++（64.30M）和BicycleGAN（64.30M），同时保持了具有竞争力的推理时间（22.43秒/epoch）。
• 图16的定性结果表明，求解器的输出比基线模型更忠实于真实图像，尤其在恢复遮挡区域的复杂结构细节方面表现更优。
• 联合训练过程使初始化器能够通过吸收求解器迭代优化过程中的知识，学习到更优的初始化策略，从而整体提升生成质量。