[论文解读] I Want This Product but Different : Multimodal Retrieval with Synthetic Query Expansion

Ivona Tautkutė, T. P. Trzcinski|arXiv (Cornell University)|Feb 17, 2021

Multimodal Machine Learning Applications参考文献 45被引用 4

一句话总结

该论文提出了一种用于多模态检索的SynthTriplet GAN框架，通过结合视觉和文本输入生成合成图像来扩展查询，采用一种新颖的三元组挖掘策略以优化嵌入距离。该方法实现了最先进水平的检索性能，并通过将生成图像与目标语义对齐，提供了可解释的嵌入。

ABSTRACT

This paper addresses the problem of media retrieval using a multimodal query (a query which combines visual input with additional semantic information in natural language feedback). We propose a SynthTriplet GAN framework which resolves this task by expanding the multimodal query with a synthetically generated image that captures semantic information from both image and text input. We introduce a novel triplet mining method that uses a synthetic image as an anchor to directly optimize for embedding distances of generated and target images. We demonstrate that apart from the added value of retrieval illustration with synthetic image with the focus on customization and user feedback, the proposed method greatly surpasses other multimodal generation methods and achieves state of the art results in the multimodal retrieval task. We also show that in contrast to other retrieval methods, our method provides explainable embeddings.

研究动机与目标

• 为解决用户同时提供视觉和文本反馈以进行产品定制时的多模态检索挑战。
• 通过生成语义对齐的合成图像，将查询扩展至原始输入之外，从而提高检索准确性。
• 开发一种检索框架，通过直接优化生成图像与目标图像之间的语义相似性，生成可解释的嵌入。
• 在准确性和相关性方面超越现有的多模态生成与检索方法。

提出的方法

• SynthTriplet GAN框架基于输入图像和文本嵌入生成条件合成图像，以扩展多模态查询。
• 一种新颖的三元组挖掘策略将合成图像作为锚点，正样本和负样本分别来自真实目标图像和干扰项。
• 该模型通过三元组损失函数优化合成图像与目标图像之间的嵌入空间距离，最小化两者差距。
• 该框架联合训练生成器与判别器，以生成逼真且语义对齐的图像，准确反映用户反馈。
• 该方法利用对比学习目标，确保生成图像在嵌入空间中与目标图像的距离小于与负样本的距离。
• 最终的嵌入空间设计为可解释，合成图像、真实图像与查询输入之间具有清晰的语义对齐。

实验结果

研究问题

• RQ1 当与用户反馈结合时，合成图像生成是否能提升多模态检索性能？
• RQ2 将合成图像用作三元组锚点如何提升嵌入质量与检索准确性？
• RQ3 与现有生成与检索基线相比，所提方法是否能在多模态检索中实现最先进性能？
• RQ4 所学习的嵌入在多大程度上具有可解释性与语义意义？

主要发现

• 所提方法在多模态检索中实现了最先进性能，显著优于现有的多模态生成与检索方法。
• 在三元组挖掘中使用合成图像作为锚点，可生成更准确且语义对齐的图像嵌入。
• 该框架生成可解释的嵌入，使基于语义相似性的检索决策能够被清晰解释。
• 通过图像与文本的联合生成及嵌入优化，模型有效捕捉了用户反馈与定制意图。