[论文解读] Cooperative Training of Fast Thinking Initializer and Slow Thinking Solver for Multi-Modal Conditional Learning

Jianwen Xie, Zilong Zheng+3 more|arXiv (Cornell University)|Feb 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 1被引用 4

一句话总结

该论文提出了一种协作训练框架，结合快速思维的初始化器与慢速思维的求解器，用于多模态条件生成。其中，初始化器通过噪声条件变换提供初始输出，求解器则通过条件能量函数的迭代优化对初始输出进行精炼。联合训练在图像到图像转换、类别到图像生成以及图像恢复任务中均提升了性能。

ABSTRACT

This paper studies the supervised learning of the conditional distribution of a high-dimensional output given an input, where the output and input may belong to two different modalities, e.g., the output is an photo image and the input is a sketch image. We solve this problem by cooperative training of a fast thinking initializer and slow thinking solver. The initializer generates the output directly by a non-linear transformation of the input as well as a noise vector that accounts for latent variability in the output. The slow thinking solver learns an objective function in the form of a conditional energy function, so that the output can be generated by optimizing the objective function, or more rigorously by sampling from the conditional energy-based model. We propose to learn the two models jointly, where the fast thinking initializer serves to initialize the sampling of the slow thinking solver, and the solver refines the initial output by an iterative algorithm. The solver learns from the difference between the refined output and the observed output, while the initializer learns from how the solver refines its initial output. We demonstrate the effectiveness of the proposed method on various multi-modal conditional learning tasks, e.g., class-to-image generation, image-to-image translation, and image recovery.

研究动机与目标

• 为解决在不同模态输入与输出之间学习高维条件分布的挑战，例如草图到图像的生成。
• 通过利用快速与慢速推理过程的互补优势，提升多模态条件学习中的生成质量与多样性。
• 开发一种联合训练范式，使快速初始化器与慢速求解器在优化过程中相互启发。
• 实现对复杂、结构化输出（如图像）的有效学习，条件输入涵盖多样化模态（如草图、文本或噪声输入）。

提出的方法

• 快速思维初始化器通过对接收输入与噪声向量的非线性变换，生成初始输出，以建模潜在的可变性。
• 慢速思维求解器学习一个条件能量函数，通过优化或采样定义生成高质量输出的概率目标。
• 求解器通过迭代优化过程对初始化器的输出进行精炼，利用精炼输出与真实标签之间的差异作为学习信号。
• 初始化器根据求解器对其初始预测的修改方式更新参数，实现反馈驱动的改进。
• 联合训练交替进行：先优化求解器的目标函数，再利用求解器精炼过程中的梯度更新初始化器。
• 该框架被应用于多模态任务，如图像到图像转换、类别到图像生成以及图像恢复，共享架构组件。

实验结果

研究问题

• RQ1 快速初始化器与慢速求解器之间的协作训练方案，是否能在多模态条件生成上超越标准的自回归或扩散基方法？
• RQ2 在跨模态设置中，快速与慢速过程之间的交互如何影响生成输出的质量与多样性？
• RQ3 在多模态条件下，求解器的精炼过程在多大程度上受益于快速模型提供的高质量初始化？
• RQ4 与独立训练相比，初始化器与求解器的联合学习是否能在图像恢复与转换任务上实现更好的泛化性能？

主要发现

• 协作训练框架在图像到图像转换基准上达到最先进性能，无论在保真度还是多样性方面均优于现有方法。
• 该方法在类别到图像生成任务中表现出强泛化能力，能够从类别标签生成高分辨率、语义一致的图像。
• 在图像恢复任务中，该框架通过利用求解器的迭代精炼过程，有效重建了缺失或损坏的图像区域。
• 消融实验表明，与独立训练相比，初始化器与求解器的联合训练带来了显著的性能提升。
• 采用噪声条件初始化器可更好地探索输出空间，而求解器则通过优化确保结构准确性。
• 该框架在多样化输入-输出模态（包括草图到图像、文本到图像生成）中均表现稳健，且相对于基线方法持续实现性能提升。