[论文解读] A Pig, an Angel and a Cactus Walk Into a Blender: A Descriptive Approach to Visual Blending

João Miguel Cunha, João Carlos Gonçalves+3 more|arXiv (Cornell University)|Jun 27, 2017

Language, Metaphor, and Cognition参考文献 16被引用 15

一句话总结

本文提出了一种混合计算系统 Blender，通过结构化的视觉表示和关系约束生成富有创意的视觉混合图像。通过将概念映射与基于遗传算法的视觉混合相结合，该系统能够生成连贯、出人意料且视觉上引人注目的混合图像——用户在识别‘优质’混合图像中的输入概念时表现出高准确率。

ABSTRACT

A descriptive approach for automatic generation of visual blends is presented. The implemented system, the Blender, is composed of two components: the Mapper and the Visual Blender. The approach uses structured visual representations along with sets of visual relations which describe how the elements (in which the visual representation can be decomposed) relate among each other. Our system is a hybrid blender, as the blending process starts at the Mapper (conceptual level) and ends at the Visual Blender (visual representation level). The experimental results show that the Blender is able to create analogies from input mental spaces and produce well-composed blends, which follow the rules imposed by its base-analogy and its relations. The resulting blends are visually interesting and some can be considered as unexpected.

研究动机与目标

• 开发一种描述性、混合式的自动视觉混合方法，以弥合概念层面与视觉层面之间的鸿沟。
• 解决生成在视觉上连贯且富有创意的混合图像的挑战，同时保留输入概念的显著特征。
• 评估该系统在生成既新颖又可识别为输入概念复合体的混合图像方面的有效性。
• 探索视觉关系与适应度函数如何引导高质量混合图像的演化。

提出的方法

• 该系统采用两组件架构：Mapper 负责概念层面的混合，Visual Blender 负责视觉表示的生成。
• 视觉表示是带有内嵌部件和描述性关系（例如，'部件 A 在部件 B 内部'）的结构化对象，以确保连贯性。
• 通过基于适应度函数的遗传算法演化混合图像，该函数衡量关系满足度与典型特征保留程度。
• Visual Blender 组件根据关系约束和演化选择，将输入概念的部件组合生成最终图像。
• 通过用户研究评估混合图像，以衡量输入概念的可识别性及整体质量。
• 该系统支持引导式演化，并可扩展至风格操控和语境丰富化等功能。

实验结果

研究问题

• RQ1 基于描述性与关系的视觉混合方法能否生成视觉上连贯且富有创意的混合图像？
• RQ2 用户在多大程度上能够识别生成混合图像中的原始输入概念？
• RQ3 基于关系满足度与典型特征存在的适应度函数在多大程度上影响混合图像质量？
• RQ4 演化计算能否有效探索视觉混合图像的空间，同时保持概念完整性？

主要发现

• 在 70% 的情况下，'优质'混合图像被正确识别为包含猪和仙人掌，30% 的情况下正确识别出两个输入概念。
• 在天使-猪混合图像中，70% 的参与者在'优质'样本中正确命名了两个输入概念，表明其具有很强的可识别性。
• 在'劣质'混合图像中，仅 10% 的参与者正确识别出两个输入概念，且因缺少典型特征而出现更高程度的混淆（例如，将'天使'误认为'lady'）。
• 该系统成功生成了出人意料但连贯的视觉混合图像，60% 的参与者在'优质'天使-仙人掌混合图像中正确识别出输入概念。
• 用户研究证实，明显保留典型部件的混合图像是显著更易识别的，而特征退化或缺失的图像则识别度较低。
• 适应度函数有效引导演化过程，使混合图像在保留关键概念元素的同时保持视觉新颖性。