[论文解读] Generating unseen complex scenes: are we there yet?

Arantxa Casanova, Michal Drozdzal+1 more|arXiv (Cornell University)|Dec 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 13

一句话总结

本文提出了一种标准化方法，用于评估复杂场景条件生成模型，评估其在训练数据上的拟合能力、对未见细粒度条件（新布局中的已见物体）的泛化能力，以及对未见粗粒度条件（未见物体组合）的泛化能力。主要贡献在于识别出实例级空间归一化、场景图感知相似性损失以及高质量掩码生成可显著提升对两类未见条件的鲁棒性，新提出的最先进模型在所有泛化场景下均实现了更低的FID分数。

ABSTRACT

Although recent complex scene conditional generation models generate increasingly appealing scenes, it is very hard to assess which models perform better and why. This is often due to models being trained to fit different data splits, and defining their own experimental setups. In this paper, we propose a methodology to compare complex scene conditional generation models, and provide an in-depth analysis that assesses the ability of each model to (1) fit the training distribution and hence perform well on seen conditionings, (2) to generalize to unseen conditionings composed of seen object combinations, and (3) generalize to unseen conditionings composed of unseen object combinations. As a result, we observe that recent methods are able to generate recognizable scenes given seen conditionings, and exploit compositionality to generalize to unseen conditionings with seen object combinations. However, all methods suffer from noticeable image quality degradation when asked to generate images from conditionings composed of unseen object combinations. Moreover, through our analysis, we identify the advantages of different pipeline components, and find that (1) encouraging compositionality through instance-wise spatial conditioning normalizations increases robustness to both types of unseen conditionings, (2) using semantically aware losses such as the scene-graph perceptual similarity helps improve some dimensions of the generation process, and (3) enhancing the quality of generated masks and the quality of the individual objects are crucial steps to improve robustness to both types of unseen conditionings.

研究动机与目标

• 为解决复杂场景条件生成领域缺乏标准化评估的问题，该问题阻碍了模型性能的公平比较与深入理解。
• 系统性地评估模型在拟合训练分布以及泛化到未见条件（包括已见和未见物体组合）方面的表现。
• 识别出哪些模型架构与训练组件能增强泛化能力，特别是针对零样本场景生成任务。
• 提供一种可复现的基准评估方法，隔离关键变量如条件模态、数据划分和评估指标。

提出的方法

• 提出一个统一的评估框架，使用三个独立的测试集：已见条件（S）、未见细粒度条件（Su）和未见粗粒度条件（Su²），实现受控比较。
• 在生成器中采用实例级空间归一化，以促进组合泛化并提升物体级别的鲁棒性。
• 引入一种场景图感知相似性损失（SG），以对齐生成图像与真实场景图，增强条件一致性。
• 使用高质量真实掩码（GT）和预测掩码作为条件输入，评估掩码保真度对泛化的影响。
• 对ISLA-based模型进行广泛的消融实验，比较包含/不包含掩码监督、归一化和场景图模块的模型变体。
• 使用FID、精确率、召回率、F1、一致性以及在场景和物体层面的准确率等指标，全面评估所有条件下的性能。

实验结果

研究问题

• RQ1 当前复杂场景生成模型在已见条件下对训练分布的拟合程度如何，能否生成可识别的场景？
• RQ2 模型在由已见物体组合构成的未见条件（即未见布局）下，其泛化能力达到何种程度？
• RQ3 当生成条件完全由未见物体组合构成时（零样本泛化），模型表现如何？
• RQ4 哪些模型组件（如归一化、掩码质量或语义损失）对提升对未见条件的泛化能力具有最显著影响？

主要发现

• 近期模型能从已见条件生成可识别的场景，但在生成未见物体组合时，图像质量明显下降，尤其在长尾物体类别上更为显著。
• 实例级空间归一化同时提升了单个物体的质量和对两类未见条件的鲁棒性，表明其在组合泛化中的关键作用。
• 引入场景图感知相似性损失可显著提升条件一致性，尤其在未见粗粒度条件上，且不损害条件内多样性。
• 高质量生成掩码对泛化至关重要：使用真实掩码的模型优于使用预测掩码的模型，且掩码质量是零样本性能的关键瓶颈。
• ISLA+M+SG模型变体（使用真实掩码和场景图模块）实现了最先进性能，在所有评估场景下FID分数均低于LostGANv2。
• 消融研究揭示，提升掩码生成质量是增强泛化能力的最有前景途径，尤其在未见粗粒度条件上。