[논문 리뷰] GenQuery: Supporting Expressive Visual Search with Generative Models

Kihoon Son, Daeun Choi외 3명|arXiv (Cornell University)|2023. 10. 02.

Design Education and Practice인용 수 5

한 줄 요약

GenQuery는 생성형 시각 검색 시스템을 도입하여 사용자가 추상적인 질의를 구체화하고 이미지 기반 및 키워드 기반 생성을 통해 검색 의도를 반복적으로 개선할 수 있도록 한다. 사용자 연구(N=16)에서 참가자들은 기존 검색 도구에 비해 더 정확한 의도 표현, 더 높은 만족도, 더 증가한 창의적 탐색을 GenQuery를 통해 경험했다.

ABSTRACT

Designers rely on visual search to explore and develop ideas in early design stages. However, designers can struggle to identify suitable text queries to initiate a search or to discover images for similarity-based search that can adequately express their intent. We propose GenQuery, a novel system that integrates generative models into the visual search process. GenQuery can automatically elaborate on users' queries and surface concrete search directions when users only have abstract ideas. To support precise expression of search intents, the system enables users to generatively modify images and use these in similarity-based search. In a comparative user study (N=16), designers felt that they could more accurately express their intents and find more satisfactory outcomes with GenQuery compared to a tool without generative features. Furthermore, the unpredictability of generations allowed participants to uncover more diverse outcomes. By supporting both convergence and divergence, GenQuery led to a more creative experience.

연구 동기 및 목표

• 디자이너들은 기존의 텍스트 또는 이미지 기반 검색 방법으로 추상적인 시각적 디자인 아이디어를 표현하기 어려워한다.
• 기존 도구는 수렴적 및 산발적 검색을 모두 지원하지 못해 창의적 탐색이 제한된다.
• 디자이너들은 모호한 아이디어를 구체화하고 검색 질의를 반복적으로 개선할 수 있는 보다 나은 메커니즘을 필요로 한다.
• 생성 모델을 활용한 표현적이고 반복적인 시각 검색을 지원하는 시스템이 필요하다.
• 목표는 동적이고 생성 기반의 검색 개선을 가능하게 하여 창의성을 향상시키는 도구를 만드는 것이다.

제안 방법

• GenQuery는 텍스트에서 이미지로의 생성을 활용하여 사용자의 추상적 질의를 구체적이고 실행 가능한 검색어로 구체화한다.
• 사용자가 이미지의 영역을 선택하고 기준 이미지 기반으로 생성된 내용으로 교체할 수 있도록 이미지 기반 수정을 지원한다.
• 키워드 기반 이미지 수정을 지원하며, 사용자가 키워드를 입력하여 선택한 이미지 영역을 수정할 수 있고, 제안 사항은 검색 기록에서 유도된다.
• 수정 기능에서 생성된 이미지는 새로운 이미지 기반 검색 질의로 사용되어 유사한 디자인을 검색할 수 있다.
• 시스템은 생성된 출력물과 관련된 검색 결과의 기록을 유지하여 의도 추적 및 향후 안내를 지원한다.
• 사용자 피드백과 검색 결과의 다양성은 생성 및 검색 관련성 향상을 위한 반복적 개선에 활용된다.

실험 결과

연구 질문

• RQ1 생성 모델은 어떻게 디자이너가 시각 검색에서 추상적인 시각적 디자인 아이디어를 더 효과적으로 표현하는 데 도움이 되는가?
• RQ2 이미지 기반 생성은 시각 검색에서 검색 의도 표현의 정밀도를 어느 정도 향상시키는가?
• RQ3 생성 모델 기반 수정 기능의 통합은 검색 결과의 다양성과 사용자 만족도에 어떤 영향을 미치는가?
• RQ4 생성 출력물은 디자인 아이디어 단계에서 수렴적 사고와 산발적 사고를 어떻게 지원하는가?
• RQ5 생성된 이미지를 검색 입력으로 사용할 때의 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• 사용자 연구(N=16) 참가자들은 GenQuery를 사용할 경우 생성 기능이 없는 기준 도구에 비해 시각 검색 의도 표현 능력이 유의미하게 향상되었다고 보고했다.
• 사용자들은 특히 생성된 수정을 통해 새로운 디자인 방향을 탐색할 수 있었기 때문에 GenQuery에서 더 만족스러운 결과를 얻었다.
• 생성 출력의 예측 불가성은 검색 결과의 다양성을 증가시켜 산발적 탐색을 지원했다.
• 참가자들은 생성된 이미지를 저장하고 검색 질의로 재사용할 수 있는 기능을 높이 평가했으며, 이는 점차 변화하는 디자인 의도를 추적하는 데 도움이 되었다.
• 장점에도 불구하고 일부 생성된 이미지에서는 결과가 거의 없거나 전혀 없었으며, 이는 데이터셋 커버리지와 생성 정확도의 한계를 시사했다.
• 사용자 피드백은 영역 선택 정확도 향상과 수정된 이미지 및 관련 검색 결과를 지속적으로 저장하여 향후 사용에 활용할 수 있도록 해야 한다는 필요성을 강조했다.