[论文解读] I Spy a Metaphor: Large Language Models and Diffusion Models Co-Create Visual Metaphors

Tuhin Chakrabarty, Arkadiy Saakyan+5 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种协作框架，其中大型语言模型（LLMs）与扩散模型通过思维链（Chain-of-Thought）提示共同生成视觉隐喻，利用思维链提示生成语言隐喻的详细视觉阐释，再将这些阐释作为输入提供给文本到图像的扩散模型。其主要贡献是创建了一个高质量、经人工验证的6,476个视觉隐喻数据集（HAIVMet），在微调视觉-语言模型时，可使视觉蕴含任务的准确率提升约23个百分点。

ABSTRACT

Visual metaphors are powerful rhetorical devices used to persuade or communicate creative ideas through images. Similar to linguistic metaphors, they convey meaning implicitly through symbolism and juxtaposition of the symbols. We propose a new task of generating visual metaphors from linguistic metaphors. This is a challenging task for diffusion-based text-to-image models, such as DALL$\cdot$E 2, since it requires the ability to model implicit meaning and compositionality. We propose to solve the task through the collaboration between Large Language Models (LLMs) and Diffusion Models: Instruct GPT-3 (davinci-002) with Chain-of-Thought prompting generates text that represents a visual elaboration of the linguistic metaphor containing the implicit meaning and relevant objects, which is then used as input to the diffusion-based text-to-image models.Using a human-AI collaboration framework, where humans interact both with the LLM and the top-performing diffusion model, we create a high-quality dataset containing 6,476 visual metaphors for 1,540 linguistic metaphors and their associated visual elaborations. Evaluation by professional illustrators shows the promise of LLM-Diffusion Model collaboration for this task . To evaluate the utility of our Human-AI collaboration framework and the quality of our dataset, we perform both an intrinsic human-based evaluation and an extrinsic evaluation using visual entailment as a downstream task.

研究动机与目标

• 为解决从语言隐喻生成视觉隐喻的挑战，该挑战需要建模隐含意义和组合结构。
• 提升基于扩散的文本到图像模型在生成非字面意义、隐喻性图像方面的能力，超越字面解释。
• 创建一个高质量、经人工验证的视觉隐喻数据集，以支持未来在视觉隐喻生成和视觉-语言理解方面的研究。
• 评估LLM-扩散模型协作以及人机协同创作在生成有意义且组合结构准确的视觉隐喻方面的有效性。

提出的方法

• 使用Instruct GPT-3（davinci-002）配合思维链提示，生成捕捉语言隐喻中隐含意义和关键对象的详细视觉阐释。
• 将LLM生成的视觉阐释作为提示输入到基于扩散的文本到图像模型（如DALL·E 2或Stable Diffusion）中，以生成最终的视觉隐喻。
• 实施一个人机协作框架，由人类插画师评估并优化LLM-扩散模型流水线的输出，以确保质量和准确性。
• 创建一个包含6,476个视觉隐喻的数据集HAIVMet，源自1,540个语言隐喻，并附带人工验证的视觉阐释。
• 通过专业插画师的内在人类评估以及使用视觉蕴含下游任务的外在评估来评估该框架。
• 在HAIVMet数据集上微调视觉-语言模型（OFA-base），并与仅在SNLI-VE上微调的性能进行比较。

Figure 1: Visual metaphors generated by DALL $\cdot$ E 2 for the linguistic metaphor “My bedroom is a pig sty".We can take the original verbal metaphor as the input (left) or use GPT-3 with Chain of Thought prompting (right).

实验结果

研究问题

• RQ1 LLM中的思维链提示是否能显著提升扩散模型生成视觉隐喻的质量？
• RQ2 人机协作在提升生成视觉隐喻的组合准确性和隐喻保真度方面发挥怎样的作用？
• RQ3 与标准基准相比，在HAIVMet数据集上微调在视觉蕴含任务上的性能提升程度如何？
• RQ4 当前扩散模型在捕捉视觉隐喻中隐含的、非字面意义方面存在哪些局限性？

主要发现

• LLM-扩散模型协作框架显著提升了视觉隐喻生成的质量，专业插画师更倾向于选择由LLM生成的视觉阐释作为提示所生成的输出，而非直接使用语言隐喻提示。
• 当使用LLM生成的阐释作为提示时，DALL·E 2在生成准确且概念一致的视觉隐喻方面优于Stable Diffusion v2.1。
• 在HAIVMet数据集上微调视觉-语言模型，相比仅在SNLI-VE上微调，可使视觉蕴含准确率提升约23个百分点。
• HAIVMet数据集展现出强大的组合泛化能力，能够通过整合的视觉元素成功捕捉复杂隐喻，如“爱是欲望之河中的一条鳄鱼”。
• 人机协作对于保持高质量输出至关重要，因为它解决了文本到图像生成中常见的描述不充分和属性-对象绑定错误等问题。

Figure 2: Human-AI collaboration framework (LLMs-Diffusion Model-Humans). Instruct GPT-3 with CoT prompting generates visual elaborations from linguistic metaphors, which are then validated and possibly edited by humans, if necessary. Visual elaborations are then used as input to DALL $\cdot$ E 2 to