[論文レビュー] GenQuery: Supporting Expressive Visual Search with Generative Models

Kihoon Son, Daeun Choi+3 more|arXiv (Cornell University)|Oct 2, 2023

Design Education and Practice被引用数 5

ひとこと要約

GenQueryは、視覚的検索を支援する生成型システムであり、抽象的なクエリを具象化し、画像ベースおよびキーワードベースの生成を用いて検索意図を段階的に精錬することで、デザインのアイデーションを向上させる。ユーザースタディ（N=16）において、従来の検索ツールと比較して、参加者はGenQueryを用いることで意図の表現がより正確になり、満足度が向上し、創造的な探求が促進されたと報告した。

ABSTRACT

Designers rely on visual search to explore and develop ideas in early design stages. However, designers can struggle to identify suitable text queries to initiate a search or to discover images for similarity-based search that can adequately express their intent. We propose GenQuery, a novel system that integrates generative models into the visual search process. GenQuery can automatically elaborate on users' queries and surface concrete search directions when users only have abstract ideas. To support precise expression of search intents, the system enables users to generatively modify images and use these in similarity-based search. In a comparative user study (N=16), designers felt that they could more accurately express their intents and find more satisfactory outcomes with GenQuery compared to a tool without generative features. Furthermore, the unpredictability of generations allowed participants to uncover more diverse outcomes. By supporting both convergence and divergence, GenQuery led to a more creative experience.

研究の動機と目的

• デザイナーは、従来のテキストまたは画像ベースの検索手法では、抽象的な視覚的デザインアイデアをうまく表現できない。
• 既存のツールは収束的および発散的検索の両方をサポートしておらず、創造的な探求を制限している。
• デザイナーは曖昧なアイデアを具象化し、段階的に検索クエリを精錬するためのより良いメカニズムが求められている。
• 生成モデルを用いた表現的で反復的な視覚的検索を支援するシステムの必要性がある。
• 動的で生成駆動の検索精錬を可能にすることで、創造性を高めるツールを開発することを目的とする。

提案手法

• GenQueryは、テキストから画像を生成することで、抽象的なユーザークエリを具体的かつ実行可能な検索キーワードに具象化する。
• ユーザーが画像の領域を選択し、参照画像に基づいて生成されたコンテンツに置き換えることで、画像ベースの変更を可能にする。
• キーワードベースの画像変更をサポートし、ユーザーがキーワードを入力して選択された画像領域を変更する。提案は検索履歴から抽出される。
• 変更機能で生成された画像は、類似するデザインを検索するために新しい画像ベースの検索クエリとして使用できる。
• システムは、生成出力と関連する検索結果の履歴を保持することで、意図の追跡と将来のガイダンスを支援する。
• ユーザーのフィードバックと検索結果の多様性を活用し、生成と検索の関連性を段階的に改善する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、視覚的検索においてデザイナーが抽象的な視覚的デザインアイデアをより効果的に表現するのをどのように支援するか？
• RQ2 画像ベースの生成は、視覚的検索における検索意図表現の正確性をどの程度向上させるか？
• RQ3 生成モデルによる変更機能の統合は、検索結果の多様性と満足度にどのように影響するか？
• RQ4 生成出力は、デザインのアイデーション段階で収束的思考と発散的思考の両方をどのように支援するか？
• RQ5 生成画像を検索入力として使用する際の限界は何か。それらはどのように克服できるか？

主な発見

• ユーザースタディ（N=16）の参加者たちは、生成機能を備えたベースラインツールと比較して、GenQueryを用いることで視覚的検索意図の表現能力が著しく向上したと報告した。
• 特に、生成された変更を通じて新たなデザインの方向性を探ることができたため、ユーザーはGenQueryでより満足のいく結果を得たと感じた。
• 生成出力の予測不可能さが、検索結果の多様性を増加させ、発散的探求を支援した。
• 参加者たちは、生成された画像を保存・再利用して検索クエリとして使用できる機能を高く評価しており、進化するデザインの意図を追跡するのに役立った。
• 利点がある一方で、一部の生成画像は結果が少なく、あるいは全く得られず、データセットカバレッジと生成の忠実度の限界が示された。
• ユーザーのフィードバックから、領域選択の正確性の向上と、今後の利用のための変更済み画像とその検索結果の永続的保存の必要性が強調された。