[论文解读] Multi-objects Generation with Amortized Structural Regularization

Taufik Xu, Chongxuan Li+2 more|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一种近似结构正则化（ASR）方法，通过后验正则化将人工提供的结构约束整合到深度生成模型（DGMs）中，以改进图像中对象属性和关系的建模。通过联合优化生成模型和辅助识别模型，基于正则化对数似然的下界，ASR在DGM基线模型上实现了更优的生成样本质量和推理性能。

ABSTRACT

Deep generative models (DGMs) have shown promise in image generation. However, most of the existing methods learn a model by simply optimizing a divergence between the marginal distributions of the model and the data, and often fail to capture rich structures, such as attributes of objects and their relationships, in an image. Human knowledge is a crucial element to the success of DGMs to infer these structures, especially in unsupervised learning. In this paper, we propose amortized structural regularization (ASR), which adopts posterior regularization (PR) to embed human knowledge into DGMs via a set of structural constraints. We derive a lower bound of the regularized log-likelihood in PR and adopt the amortized inference technique to jointly optimize the generative model and an auxiliary recognition model for inference efficiently. Empirical results show that ASR outperforms the DGM baselines in terms of inference performance and sample quality.

研究动机与目标

• 解决现有DGMs在捕捉复杂图像结构（如对象属性和空间关系）方面的局限性。
• 将人工提供的结构知识整合到无监督深度生成模型中，以提升结构保真度。
• 开发一种高效的推理机制，通过近似推理联合优化生成模型和识别模型。
• 通过后验正则化嵌入结构约束，提升图像生成中的样本质量和推理性能。
• 在无监督设置下，弥合人工标注的结构先验与端到端深度生成建模之间的差距。

提出的方法

• 应用后验正则化（PR）将人工提供的结构约束嵌入DGM的潜在空间中。
• 推导正则化对数似然的下界，以实现对约束目标的可微分优化。
• 使用近似推理联合训练生成模型和辅助识别模型，降低计算成本。
• 将学习目标表述为包含结构约束作为正则化项的变分下界。
• 使用随机梯度下降端到端优化模型，实现在图像数据集上的可扩展训练。
• 将结构约束定义为软正则化项，引导模型学习解耦且语义有意义的表示。

实验结果

研究问题

• RQ1 在无监督学习中，人工提供的结构约束是否能提升生成图像的质量和解耦性？
• RQ2 与标准DGMs相比，结合近似推理的后验正则化在建模对象属性和关系方面表现如何？
• RQ3 整合结构先验在多大程度上提升了推理性能和样本多样性？
• RQ4 能否在无需完全监督的情况下有效整合结构约束到深度生成模型中？
• RQ5 不同类型结构约束对模型生成真实且结构化图像能力的影响如何？

主要发现

• ASR在FID和Inception Score等指标下显著优于标准DGM基线模型，样本质量明显提升。
• 通过引入人类知识，模型学习到更结构化和解耦的表示，从而实现更优的推理性能。
• 实证结果表明，ASR能有效捕捉生成图像中的对象属性和空间关系。
• 近似推理的使用实现了生成模型与识别模型的高效联合优化，保持了可扩展性。
• 正则化下界确保了稳定训练，并在多个基准上持续优于基线DGM模型。
• 即使在无对象级属性显式监督的情况下，ASR仍优于标准DGMs，证明了弱监督结构先验的有效性。