[논문 리뷰] Deep Learning in a Computational Model for Conceptual Shifts in a Co-Creative Design System

Pegah Karimi, Mary Lou Maher외 2명|arXiv (Cornell University)|2019. 06. 24.

Design Education and Practice참고 문헌 7인용 수 14

한 줄 요약

이 논문은 학습된 벡터 표현에서 유도된 시각적 및 개념적 유사성 척도를 사용하여 공동 창작 설계 시스템에서 개념적으로 새로운 스케치 응답을 생성하는 딥러닝 기반 계산 모델을 제안한다. 사용자 연구 결과, 높은 난이도의 AI 응답은 낮은 난이도의 응답보다 사용자의 창의성을 크게 향상시키는 것으로 나타났으며, 이는 주로 점진적인 설계 개선을 지원하기 위함이다.

ABSTRACT

This paper presents a computational model for conceptual shifts, based on a novelty metric applied to a vector representation generated through deep learning. This model is integrated into a co-creative design system, which enables a partnership between an AI agent and a human designer interacting through a sketching canvas. The AI agent responds to the human designer's sketch with a new sketch that is a conceptual shift: intentionally varying the visual and conceptual similarity with increasingly more novelty. The paper presents the results of a user study showing that increasing novelty in the AI contribution is associated with higher creative outcomes, whereas low novelty leads to less creative outcomes.

연구 동기 및 목표

• 공동 창작 설계 시스템에서 AI 에이전트가 사용자 스케치를 바탕으로 개념적으로 새로운 응답을 생성할 수 있도록 하는 계산 모델을 개발하는 것.
• 딥러닝과 난이도 척도를 융합하여 스케치 간의 시각적 및 개념적 유사성을 측정하는 것.
• AI가 생성한 응답의 난이도 수준을 다양하게 조절할 경우 인간 설계자가 창작하는 결과에 어떤 영향을 미치는지 평가하는 것.
• 대규모 스케치 임bedding에서 유도된 난이도를 측정 가능한 지표로 활용하여 공동 창작 시스템에서 창의성을 정량화하는 것.

제안 방법

• 시스템은 깊이 신경망을 사용하여 스케치를 공통의 시각-개념 벡터 공간에 매핑함으로써 유사성 측정을 가능하게 한다.
• 난이도는 사용자 입력 스케치로부터의 시각적 및 개념적 이질성의 복합 거리 척도로 계산된다.
• 모델은 임베딩 공간 내에서의 거리 기반으로 잠재적 AI 응답을 낮음, 중간, 높음의 난이도 카테고리로 분류한다.
• 24명의 참가자가 참여한 Wizard of Oz 사용자 연구를 실시하여, 낮음, 중간, 높음의 난이도 AI 응답 세 가지 조건을 노출시켰다.
• 사용자 스케치는 정량적 창의성 평가와 인터뷰 응답의 정성적 주제 분석을 통해 수집 및 분석되었다.

실험 결과

연구 질문

• RQ1 AI가 생성한 스케치 응답의 난이도 수준이 인간 설계자가 이후에 그린 스케치의 창의적 수준에 어떤 영향을 미치는가?
• RQ2 높은 난이도의 개념적 전환은 낮은 난이도의 응답에 비해 어떻게 변혁적인 설계 사고를 자극하는가?
• RQ3 딥러닝 임베딩으로 측정된 개념적 유사성은 창의적 탐색을 지원하거나 제한하는 데 어떤 역할을 하는가?
• RQ4 사용자들은 매우 높은 난이도의 AI 기반 설계 제안과 매우 유사한 제안 중 어느 쪽을 더 유용하게 느끼는가?

주요 결과

• 높은 난이도의 AI 응답은 정량적 점수와 정성적 분석을 통해 사용자 스케치의 창의적 결과를 유의미하게 향상시켰다.
• 참가자들은 높은 난이도의 응답이 새로운 설계 가능성을 열어주었으며, 항공모함의 시트와 같은 관련 없는 도메인의 기능을 의자 설계에 통합하는 등 새로운 아이디어를 제시했다고 보고했다.
• 낮은 난이도의 응답은 자극적이지 않게 느껴졌으며, 사용자들은 주로 원본 스케치에 구조적 세부 사항을 추가하는 데 치중했다.
• 24명의 참가자 중 3명은 주로 초기 설계를 완성하거나 다듬기 위해 낮은 난이도 응답을 선호했지만, 대부분은 창의적 탐색에 있어 도움이 되지 않는다고 느꼈다.
• 참가자들은 낮은 난이도 응답을 일관되게 '기대에 부합한다' 또는 '기존 아이디어를 복사한다'고 묘사하여 창의적 자극이 제한됨을 나타냈다.
• 이 연구는 딥러닝 기반의 시각적 및 개념적 임베딩으로 측정된 난이도가 공동 창작 설계 시스템에서 향상된 창의적 성과를 강력하게 예측함을 확인했다.