[论文解读] Consistency-diversity-realism Pareto fronts of conditional image generative models

Pietro Astolfi, Marlène Careil+6 more|arXiv (Cornell University)|Jun 14, 2024

Philosophy and History of ScienceArts and Humanities被引用 3

一句话总结

本文提出了一致性-多样性-真实性Pareto前沿作为评估条件图像生成模型作为世界模拟器的框架。通过分析文本到图像及图像与文本到图像模型中的引导尺度、事后过滤和压缩率等控制参数，揭示了真实性/一致性与表征多样性之间的权衡。结果表明，较新模型为追求更高真实性和一致性而牺牲了多样性，而较旧模型如LDM 1.5和LDM 2.1则实现了更优的多样性平衡表现。

ABSTRACT

Building world models that accurately and comprehensively represent the real world is the utmost aspiration for conditional image generative models as it would enable their use as world simulators. For these models to be successful world models, they should not only excel at image quality and prompt-image consistency but also ensure high representation diversity. However, current research in generative models mostly focuses on creative applications that are predominantly concerned with human preferences of image quality and aesthetics. We note that generative models have inference time mechanisms - or knobs - that allow the control of generation consistency, quality, and diversity. In this paper, we use state-of-the-art text-to-image and image-and-text-to-image models and their knobs to draw consistency-diversity-realism Pareto fronts that provide a holistic view on consistency-diversity-realism multi-objective. Our experiments suggest that realism and consistency can both be improved simultaneously; however there exists a clear tradeoff between realism/consistency and diversity. By looking at Pareto optimal points, we note that earlier models are better at representation diversity and worse in consistency/realism, and more recent models excel in consistency/realism while decreasing significantly the representation diversity. By computing Pareto fronts on a geodiverse dataset, we find that the first version of latent diffusion models tends to perform better than more recent models in all axes of evaluation, and there exist pronounced consistency-diversity-realism disparities between geographical regions. Overall, our analysis clearly shows that there is no best model and the choice of model should be determined by the downstream application. With this analysis, we invite the research community to consider Pareto fronts as an analytical tool to measure progress towards world models.

研究动机与目标

• 不仅从图像质量或一致性角度评估条件图像生成模型，还评估其表征世界多样性的能力，将其视为潜在的世界模拟器。
• 利用推理时控制参数（如引导尺度、事后过滤和压缩率）分析一致性和真实性之间的权衡。
• 在一致性、多样性和真实性三个目标上，对比最先进的文本到图像和图像与文本到图像模型，识别性能权衡与历史趋势。
• 证明不存在单一最优模型，模型选择应由下游应用需求驱动。
• 倡导将Pareto前沿分析作为衡量视觉世界模型进展的新标准。

提出的方法

• 通过系统性地调整多个模型中的推理时控制参数（如引导尺度、事后过滤和压缩率），构建一致-多样性-真实性Pareto前沿。
• 使用样本间相似性和召回率量化表征多样性，使用图像重建质量与精确度衡量真实性，使用Davidsonian场景图分数衡量提示-图像一致性。
• 在MSCOCO验证集和地理多样性GeoDE数据集上评估模型，以分析区域表征差异。
• 采用多目标优化框架，在三个性能轴上识别Pareto最优点。
• 尽可能分析开源模型（如LDM、RDM、PerCo）与封闭模型，重点关注控制参数设置对三项指标的影响。
• 通过三张Pareto前沿图可视化三组权衡关系：一致性-多样性、真实性-多样性、一致性-真实性。

实验结果

研究问题

• RQ1 推理时控制参数（如引导尺度和事后过滤）如何影响条件图像生成中一致性和真实性之间的权衡？
• RQ2 在一致性和真实性方面，模型性能的历史演变如何？与旧模型相比，新模型表现如何？
• RQ3 训练数据中的地理差异在多大程度上影响模型在一致性和真实性方面的表现？
• RQ4 图像压缩模型（如PerCo）能否有效作为分析真实性-多样性权衡的代理？比特率如何影响这一平衡？
• RQ5 观察到的真实性/一致性与多样性之间的权衡是否具有根本性，未来模型能否克服这些权衡？

主要发现

• 较新模型如LDM ${}_{\text{XL}}$ 和 LDM ${}_{\text{XL-Turbo}}$ 在真实性与一致性方面表现更优，但与旧模型如LDM 1.5和LDM 2.1相比，表征多样性显著降低。
• 首个潜在扩散模型（LDM 1.5）在GeoDE数据集上于一致性、多样性与真实性三个维度的表现均优于近期模型，表明存在区域表征差异。
• 提高引导尺度可同时提升一致性和真实性，但真实性增益的饱和早于一致性增益，且多样性随尺度升高而下降。
• 事后过滤在提升一致性和真实性方面优于引导尺度，但代价是多样性大幅减少。
• 在PerCo中，高比特率（低bpp）下压缩率可提升多样性，但严重损害真实性，对一致性影响极小，表明以牺牲细节为代价实现了语义保留。
• 在所有评估模型中，真实性/一致性与多样性之间均存在显著权衡，无一模型能同时在三项指标上达到最优。