[论文解读] GenQuery: Supporting Expressive Visual Search with Generative Models

Kihoon Son, Daeun Choi+3 more|arXiv (Cornell University)|Oct 2, 2023

Design Education and Practice被引用 5

一句话总结

GenQuery 引入了一种生成式视觉搜索系统，通过允许用户将抽象查询具体化，并基于图像和关键词生成来迭代优化搜索意图，从而增强设计构思。在一项用户研究（N=16）中，与传统搜索工具相比，参与者报告使用 GenQuery 时能更准确地表达意图，满意度更高，且更具创造性探索性。

ABSTRACT

Designers rely on visual search to explore and develop ideas in early design stages. However, designers can struggle to identify suitable text queries to initiate a search or to discover images for similarity-based search that can adequately express their intent. We propose GenQuery, a novel system that integrates generative models into the visual search process. GenQuery can automatically elaborate on users' queries and surface concrete search directions when users only have abstract ideas. To support precise expression of search intents, the system enables users to generatively modify images and use these in similarity-based search. In a comparative user study (N=16), designers felt that they could more accurately express their intents and find more satisfactory outcomes with GenQuery compared to a tool without generative features. Furthermore, the unpredictability of generations allowed participants to uncover more diverse outcomes. By supporting both convergence and divergence, GenQuery led to a more creative experience.

研究动机与目标

• 设计师难以通过传统文本或基于图像的搜索方法表达抽象的视觉设计想法。
• 现有工具缺乏对收敛式和发散式搜索的支持，限制了创造性探索。
• 设计师需要更好的机制来将模糊的想法具体化，并迭代优化搜索查询。
• 需要能够使用生成式模型支持表达性、迭代式视觉搜索的系统。
• 目标是创建一种工具，通过支持动态、以生成驱动的搜索优化来增强创造力。

提出的方法

• GenQuery 使用文本到图像生成技术，将抽象的用户查询具体化为具体且可操作的搜索词。
• 它通过允许用户选择图像的特定区域，并基于参考图像用生成内容替换该区域，实现基于图像的修改。
• 它支持基于关键词的图像修改，用户可输入关键词来改变选定的图像区域，建议内容来自搜索历史。
• 通过修改功能生成的图像可用作新的基于图像的搜索查询，以检索相似设计。
• 系统维护生成输出及其相关搜索结果的历史记录，以支持意图追踪和未来引导。
• 用户反馈和搜索结果的多样性被用于迭代改进生成质量和搜索相关性。

实验结果

研究问题

• RQ1 生成式模型在视觉搜索中如何更有效地帮助设计师表达抽象的视觉设计想法？
• RQ2 基于图像的生成在多大程度上提升了视觉搜索中搜索意图表达的精确度？
• RQ3 生成式修改功能的整合如何影响搜索结果的多样性与用户满意度？
• RQ4 生成式输出在设计构思过程中如何同时支持收敛思维与发散思维？
• RQ5 将生成图像用作搜索输入存在哪些局限性，又该如何解决？

主要发现

• 在用户研究（N=16）中，参与者报告称，与缺乏生成功能的基线工具相比，使用 GenQuery 表达视觉搜索意图的能力显著提高。
• 用户认为 GenQuery 提供了更令人满意的搜索结果，尤其得益于通过生成式修改探索新设计方向的能力。
• 生成输出的不可预测性带来了更高的结果多样性，支持了发散式探索。
• 参与者重视能够保存并重用生成图像作为搜索查询的功能，这有助于追踪其不断演变的设计意图。
• 尽管有诸多优势，部分生成图像未能返回或仅返回极少搜索结果，表明数据集覆盖范围和生成保真度仍存在局限。
• 用户反馈强调了需要提升区域选择的准确性，并持久存储修改后的图像及其对应搜索结果，以供未来使用。