[논문 리뷰] A Pig, an Angel and a Cactus Walk Into a Blender: A Descriptive Approach to Visual Blending

João Miguel Cunha, João Carlos Gonçalves외 3명|arXiv (Cornell University)|2017. 06. 27.

Language, Metaphor, and Cognition참고 문헌 16인용 수 15

한 줄 요약

이 논문은 구조적 시각적 표현과 관계 제약 조건을 사용하여 창의적인 시각적 블렌딩을 생성하는 하이브리드 계산 시스템인 Blender를 제시한다. 개념 매핑과 유전 알고리즘을 통한 시각적 블렌딩을 조합함으로써, 이 시스템은 통일성 있고 놀라운, 시각적으로 흥미로운 블렌딩을 생성한다 — 이는 '좋은' 블렌딩에서 입력 개념을 식별하는 참가자들의 높은 정확도로 입증된다.

ABSTRACT

A descriptive approach for automatic generation of visual blends is presented. The implemented system, the Blender, is composed of two components: the Mapper and the Visual Blender. The approach uses structured visual representations along with sets of visual relations which describe how the elements (in which the visual representation can be decomposed) relate among each other. Our system is a hybrid blender, as the blending process starts at the Mapper (conceptual level) and ends at the Visual Blender (visual representation level). The experimental results show that the Blender is able to create analogies from input mental spaces and produce well-composed blends, which follow the rules imposed by its base-analogy and its relations. The resulting blends are visually interesting and some can be considered as unexpected.

연구 동기 및 목표

• 개념 수준과 시각 수준를 연결하는 서술적이고 하이브리드적인 접근 방식을 개발하여 자동 시각 블렌딩을 수행하는 것.
• 입력 개념의 주요 특징을 유지하면서도 시각적으로 통일성 있고 창의적인 블렌딩을 생성하는 과제를 해결하는 것.
• 생성된 블렌딩이 새로운 것으로서 동시에 입력 개념의 복합체임을 식별할 수 있는지의 효과를 평가하는 것.
• 시각적 관계와 적합도 함수가 고품질 블렌딩의 진화를 어떻게 이끄는지 탐색하는 것.

제안 방법

• 시스템은 두 구성 요소로 이루어진 아키텍처를 사용한다: 개념 수준의 블렌딩을 위한 Mapper와 시각적 표현 생성을 위한 Visual Blender.
• 시각적 표현은 부분과 기술적 관계(예: '부분 A가 부분 B 안에 있음')를 내장한 구조적 객체로서 통일성을 확보한다.
• 유전 알고리즘이 관계 만족도와 원형적 특징 보존 정도를 측정하는 적합도 함수에 기반해 개체를 선택함으로써 블렌딩을 진화시킨다.
• Visual Blender 구성 요소는 관계 제약 조건과 진화적 선택에 따라 입력 개념의 부분을 조합하여 최종 이미지를 생성한다.
• 블렌딩은 사용자 연구를 통해 입력 개념의 식별 가능성과 총합 품질을 평가한다.
• 시스템은 유도적 진화를 지원하며, 향후 스타일 조작 및 맥락적 풍부화와 같은 확장도 가능하다.

실험 결과

연구 질문

• RQ1 기능적 관계 기반의 서술적 접근 방식이 시각적으로 통일성 있고 창의적인 블렌딩을 생성할 수 있는가?
• RQ2 사용자가 생성된 블렌딩에서 원래의 입력 개념을 어느 정도 식별할 수 있는가?
• RQ3 관계 만족도와 원형적 특징 존재 기반의 적합도 함수가 블렌딩 품질에 어떤 영향을 미치는가?
• RQ4 진화 계산이 개념적 통합성을 유지하면서도 시각적 블렌딩의 공간을 효과적으로 탐색할 수 있는가?

주요 결과

• 70%의 경우에서 '좋은' 블렌딩에서 돼지와 선인장이 포함되어 있음을 참가자들이 정확히 식별했으며, 30%는 둘 다 정확히 식별했다.
• 천사-돼지 블렌딩의 경우, '좋은' 예시에서 참가자들의 70%가 둘 다 입력 개념을 정확히 이름 지었으며, 이는 강한 식별 가능성의 증거이다.
• '나쁜' 블렌딩에서는 참가자들 중 10%만 둘 다 입력 영역을 정확히 식별했으며, 원형적 특징이 누락되면서 혼동이 증가했다(예: '천사' 대신 '여자'로 오인).
• 시스템은 놀라움을 주지만 통일성 있는 시각적 블렌딩을 성공적으로 생성했으며, '좋은' 천사-선인장 블렌딩에서 참가자들의 60%가 입력 영역을 정확히 식별했다.
• 사용자 연구를 통해 명확히 보존된 원형적 부분을 가진 블렌딩은 기능이 떨어지거나 손실된 특징을 가진 블렌딩보다 유의미하게 더 잘 식별됨을 확인했다.
• 적합도 함수는 핵심 개념적 요소를 유지하면서도 시각적 새로움을 유지하는 방향으로 진화를 효과적으로 이끌었다.