[論文レビュー] A Pig, an Angel and a Cactus Walk Into a Blender: A Descriptive Approach to Visual Blending

João Miguel Cunha, João Carlos Gonçalves+3 more|arXiv (Cornell University)|Jun 27, 2017

Language, Metaphor, and Cognition参考文献 16被引用数 15

ひとこと要約

本論文は、構造的視覚表現と関係的制約を用いて創造的で視覚的に魅力的なブレンドを生成するハイブリッド計算システム、Blenderを提示する。概念マッピングと遺伝的アルゴリズムを用いた視覚的ブレンドの統合により、一貫性があり予期せぬ、視覚的に興味深いブレンドを生成する。これは、『良い』ブレンドにおいて参加者が入力概念を識別する高い正確性によって裏付けられている。

ABSTRACT

A descriptive approach for automatic generation of visual blends is presented. The implemented system, the Blender, is composed of two components: the Mapper and the Visual Blender. The approach uses structured visual representations along with sets of visual relations which describe how the elements (in which the visual representation can be decomposed) relate among each other. Our system is a hybrid blender, as the blending process starts at the Mapper (conceptual level) and ends at the Visual Blender (visual representation level). The experimental results show that the Blender is able to create analogies from input mental spaces and produce well-composed blends, which follow the rules imposed by its base-analogy and its relations. The resulting blends are visually interesting and some can be considered as unexpected.

研究の動機と目的

• 概念的レベルと視覚的レベルの間をつなぐ記述的でハイブリッドな自動視覚ブレンド手法の開発。
• 入力概念の顕著な特徴を保持しつつ、視覚的に一貫性があり創造的なブレンドを生成する課題への対処。
• 生成されたブレンドが新奇であり、かつ入力概念の複合体として識別可能であるかを評価する。
• 視覚的関係性とフィットネス関数が、高品質なブレンドの進化をどのように導くかの探求。

提案手法

• 本システムは二段階のアーキテクチャを採用：概念レベルのブレンドを担当するMapperと、視覚的表現の生成を担当するVisual Blender。
• 視覚的表現は、部分と記述的関係（例：「部品Aが部品Bの中にあり」）を埋め込んだ構造的オブジェクトとして定義され、一貫性を確保する。
• 遺伝的アルゴリズムにより、関係性の満たし具合と代表的特徴の保持度を測るフィットネス関数に基づいて個体が選択され、ブレンドが進化する。
• Visual Blender部は、関係的制約と進化的選択に従い、入力概念の部品を組み合わせて最終的な画像を生成する。
• ブレンドはユーザースタディを用いて評価され、入力概念の識別可能性と全体的な品質が測定される。
• 本システムは、ガイド付き進化をサポートしており、今後の拡張としてスタイル操作や文脈的拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 記述的で関係に基づく視覚的ブレンド手法は、視覚的に一貫性があり創造的なブレンドを生成できるか？
• RQ2 参加者は、生成されたブレンドにおいて、元の入力概念をどの程度正しく特定できるか？
• RQ3 関係性の満たし具合と代表的特徴の存在に基づくフィットネス関数は、ブレンドの品質にどの程度影響を与えるか？
• RQ4 進化的計算は、概念的整合性を保持しつつ、視覚的ブレンドの空間を効果的に探索できるか？

主な発見

• 『良い』ブレンドにおいて、ピッグとカクタスの両方が正しく識別されたのは70%のケースであり、両方の入力空間を正しく特定できたのは30%であった。
• アンジェル・ピッグのブレンドでは、『良い』例において70%の参加者が両方の入力概念を正しく特定しており、顕著な識別性が示された。
• 『悪い』ブレンドでは、参加者のうち10%しか両方の入力空間を正しく特定できず、代表的特徴が欠落していたため、誤解（例：『アンジェル』ではなく『レディ』）が増加した。
• 本システムは、予期せぬが一貫性のある視覚的ブレンドを効果的に生成した。『良い』アンジェル・カクタスブレンドにおいては、60%の参加者が入力空間を正しく識別した。
• ユーザースタディの結果、顕著に保持された代表的部品を有するブレンドは、劣化または欠落した特徴を有するものよりも顕著に識別されやすかった。
• フィットネス関数は、キーパートを保持しつつも視覚的新奇性を維持するブレンドへの進化を効果的に導いた。