[论文解读] Learning to Compose Visual Relations

Nan Liu, Shuang Li+3 more|arXiv (Cornell University)|Nov 17, 2021

Visual Attention and Saliency Detection被引用 12

一句话总结

该论文提出了一种因子化能量模型（EBM），通过将每种视觉关系表示为非归一化密度，实现对图像中多个关系的忠实生成与编辑。该方法在CLEVR和Blender等数据集上的关系场景理解、语义等价性检测以及零样本泛化任务中均优于基线模型。

ABSTRACT

The visual world around us can be described as a structured set of objects and their associated relations. An image of a room may be conjured given only the description of the underlying objects and their associated relations. While there has been significant work on designing deep neural networks which may compose individual objects together, less work has been done on composing the individual relations between objects. A principal difficulty is that while the placement of objects is mutually independent, their relations are entangled and dependent on each other. To circumvent this issue, existing works primarily compose relations by utilizing a holistic encoder, in the form of text or graphs. In this work, we instead propose to represent each relation as an unnormalized density (an energy-based model), enabling us to compose separate relations in a factorized manner. We show that such a factorized decomposition allows the model to both generate and edit scenes that have multiple sets of relations more faithfully. We further show that decomposition enables our model to effectively understand the underlying relational scene structure. Project page at: https://composevisualrelations.github.io/.

研究动机与目标

• 解决图像中多个视觉关系组合的挑战，其中关系相互纠缠且相互依赖。
• 在无需真实物体位置或分割掩码的情况下，基于关系场景描述实现准确的图像生成与编辑。
• 提升对语义等价关系描述（如“柜子在沙发前面”与“沙发在柜子后面”）的理解鲁棒性。
• 在无需微调的情况下实现对未见数据集（如Blender）的零样本泛化。
• 开发一种组合式框架，将关系分解为单个关系进行建模，而非整体建模。

提出的方法

• 使用基于能量的模型（EBM）将每种视觉关系表示为非归一化的能量密度，实现因子化组合。
• 通过将各个关系能量密度的乘积表示整个场景，使关系之间的交互自然涌现。
• 使用学习得到的图像嵌入（如CLIP或训练好的编码器）来对EBM进行视觉和文本输入的条件化。
• 通过在组合能量函数上进行优化（如Langevin动力学）实现图像生成与编辑。
• 通过比较给定图像在不同关系描述下的相对能量得分来实现关系理解。
• 采用对比学习进行端到端训练，以对齐图像与关系嵌入。

实验结果

研究问题

• RQ1 因子化EBM框架是否能比整体化或注意力机制模型更忠实地生成包含多个组合视觉关系的图像？
• RQ2 模型是否能在保留已有关系的同时，编辑图像以融入新的关系描述？
• RQ3 模型能否准确区分语义等价与非等价的关系场景描述？
• RQ4 模型是否能在不微调的情况下泛化到未见数据集（如Blender）的关系描述与场景？
• RQ5 基于EBM的方法是否能比现有多模态模型（如CLIP）更好地捕捉场景的潜在关系结构？

主要发现

• 所提出的EBM方法在未见的Blender数据集上进行图像到文本检索时，显著优于CLIP及其他基线模型，展现出强大的零样本泛化能力。
• 在CLEVR和iGibson数据集上，模型对语义等价关系描述的相对得分差异小于等价与不匹配描述之间的差异，表明其对同义表述具有鲁棒性。
• 定性结果与关系组合的定量指标均表明，该模型在生成与编辑包含多个关系的图像方面优于基线模型。
• 语义等价描述之间的能量差异始终低于不匹配描述之间的差异，证实了模型捕捉关系语义的能力。
• 使用学习嵌入的模型在未见数据集上的泛化能力优于CLIP或微调后的CLIP基线，表明EBM-based组合学习具有优越性。
• 即使训练与测试数据来自不同领域，该模型在关系场景理解任务中仍能保持高准确率，凸显其组合性与泛化能力。