[论文解读] Multi-objective Deep Data Generation with Correlated Property Control

Shiyu Wang, Xiaojie Guo+12 more|arXiv (Cornell University)|Oct 1, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

该论文提出 CorrVAE，一种新颖的深度生成模型，通过利用解耦潜在向量和可解释的掩码池化层，实现属性之间受控相关性的多目标数据生成。该模型通过潜在变量与属性之间的相互依赖关系实现精确的属性控制，在生成具有相关性、多约束属性的复杂数据方面优于现有方法。

ABSTRACT

Developing deep generative models has been an emerging field due to the ability to model and generate complex data for various purposes, such as image synthesis and molecular design. However, the advancement of deep generative models is limited by challenges to generate objects that possess multiple desired properties: 1) the existence of complex correlation among real-world properties is common but hard to identify; 2) controlling individual property enforces an implicit partially control of its correlated properties, which is difficult to model; 3) controlling multiple properties under various manners simultaneously is hard and under-explored. We address these challenges by proposing a novel deep generative framework that recovers semantics and the correlation of properties through disentangled latent vectors. The correlation is handled via an explainable mask pooling layer, and properties are precisely retained by generated objects via the mutual dependence between latent vectors and properties. Our generative model preserves properties of interest while handling correlation and conflicts of properties under a multi-objective optimization framework. The experiments demonstrate our model's superior performance in generating data with desired properties.

研究动机与目标

• 解决同时建模多个相关属性的复杂数据生成挑战。
• 克服现有模型强制完全解耦的局限性，从而无法捕捉现实世界中属性之间的相关性。
• 在统一的生成框架中实现灵活的多目标控制，例如固定、最大化或在特定范围内约束属性。
• 开发一种方法，在处理相关属性带来的隐性依赖和冲突的同时，保持期望属性。
• 通过可学习的掩码池化层提供可解释的机制，以建模属性之间的相关性。

提出的方法

• CorrVAE 采用变分自编码器架构，利用解耦潜在向量独立表示各个属性。
• 可学习的掩码池化层通过将潜在变量的共享影响分配给多个属性，识别并建模属性之间的相关性。
• 通过多目标优化框架强制潜在向量与属性之间的相互依赖，最小化重构误差和属性预测误差。
• 掩码矩阵端到端训练，使模型能够学习哪些潜在变量影响哪些属性，从而实现可解释的控制。
• 通过优化求解最优潜在码 $w^*$ 来应用属性约束，支持多种生成模式，如固定、最小化或约束值。
• 该框架支持多种控制模式：将属性固定为某一值、最小化/最大化该属性，或在某一范围内约束其值。

实验结果

研究问题

• RQ1 深度生成模型如何有效建模并控制数据生成中的多个相关属性？
• RQ2 解耦潜在空间能否同时保持对单个属性的控制及其内在相关性？
• RQ3 模型如何在统一且可控的方式下处理冲突或相互依赖的属性约束？
• RQ4 可解释的掩码池化机制在多目标数据生成中能在多大程度上提升可解释性和性能？
• RQ5 所提出的多目标优化框架是否能在多种属性约束场景下实现精确且一致的生成？

主要发现

• CorrVAE 能够成功生成包含多个目标属性（如形状、尺度、x 和 y 位置及其和 x+y）的数据，同时尊重复杂的属性相关性。
• 该模型实现了精确控制：单独遍历潜在变量仅影响其预期属性，例如 $w_1$ 将形状从椭圆更改为方形，$w_2$ 将尺寸从 1.3877 调整为 0.3406。
• 在同时控制多个属性时，例如 $w_3$ 同时影响 x 位置、y 位置和 x+y 位置，模型在所有三个属性上均保持一致且符合预期的变化。
• 在多目标生成中，模型成功生成符合复杂约束的图像：例如当最大化 x+y 位置并固定形状和尺寸时，生成了位于右下角的大方形。
• 该模型在多种约束下表现出一致且可复现的结果，批量生成的所有图像均相似且与目标属性对齐。
• 学习到的掩码矩阵（图 5）清晰显示了哪些潜在变量影响哪些属性，提供了可解释性，并验证了模型捕捉相关性的能力。