[논문 리뷰] Machine learning based co-creative design framework

Brian Quanz, Wei Sun외 3명|arXiv (Cornell University)|2020. 01. 23.

Data Visualization and Analytics참고 문헌 48인용 수 10

한 줄 요약

이 논문은 상호작용적이고 사용자 중심의 디자인 탐색을 가능하게 하기 위해 Creator, Evaluator, Iterator 구성 요소를 통합한 기계학습 기반 공동 창작 설계 프레임워크를 제안한다. 향수 병 디자인 사례 연구를 통해 시스템이 GAN, 스타일 전이, 강화 학습을 활용해 사용자 선호도를 효율적으로 학습하고 다양하고 고도로 품질 높은 설계 제안을 생성함을 입증한다.

ABSTRACT

We propose a flexible, co-creative framework bringing together multiple machine learning techniques to assist human users to efficiently produce effective creative designs. We demonstrate its potential with a perfume bottle design case study, including human evaluation and quantitative and qualitative analyses.

연구 동기 및 목표

• 창의성과 사용자 제어를 지원하는 일반화 가능한 AI 기반 패키지 디자인 도구의 부족을 해결한다.
• 히우리스틱이나 단일 기능 보조자에 의존하는 이전의 공동 창작 시스템의 한계를 극복한다.
• 사용자 피드백을 통해 선호도를 학습하면서도 새로운, 다양한 디자인을 생성함으로써 민첩하고 상호작용 가능한 디자인 탐색을 가능하게 한다.
• 24,000장의 향수 병 이미지로 구성된 대규모 데이터셋을 활용해 실제 디자인 과제에서 프레임워크의 실현 가능성과 효과성을 입증한다.

제안 방법

• Creator 구성 요소는 점진적 및 조건부 GAN을 포함한 생성 적대 신경망(GAN)을 사용하여 새로운, 현실적인 디자인을 생성하고 이미지 보완 및 스케치에서 이미지로의 변환을 가능하게 한다.
• 스케치에서 이미지로의 변환 및 스타일 전이 기법을 통해 사용자는 구조적 요소를 고정하면서도 색상과 질감을 수정할 수 있어 빠른 프로토타이핑과 변형을 지원한다.
• Evaluator 구성 요소는 전이 학습과 예측 모델링을 활용해 형태와 색상과 같은 미학적 모달리티에서의 디자인 평가 점수를 산출하고, 신선도와 소비자 매력도를 추정한다.
• Iterator 구성 요소는 강화 학습과 전이 학습을 활용해 사용자 피드백에 기반해 반복적으로 디자인을 제안하며, 탐색과 이용의 균형을 이룬다.
• 이 시스템은 GAN, 스타일 전이, 전이 학습, 강화 학습 등의 다수 기계학습 기법을 통합해 상호작용 가능한 공동 창작 설계를 위한 유일한 프레임워크로 구현한다.
• 간소화된 인터페이스는 라운드당 18개의 디자인 제안을 제시하며, 사용자가 선호하는 디자인을 선택해 점차 학습된 선호도 모델을 정교화한다.

실험 결과

연구 질문

• RQ1 다양한 사용자 요구와 창의적 목표에 걸쳐 효과적으로 공동 창작 설계를 지원할 수 있는 통합적이고 융통성 있는 기계학습 프레임워크가 가능한가?
• RQ2 최소한의 피드백으로도 시스템이 실시간으로 사용자 선호도를 효과적으로 학습하고 적응할 수 있는가?
• RQ3 사용자의 초보적 의도를 초월해 다양하고 새로운, 시각적으로 매력적인 디자인을 얼마나 잘 생성할 수 있는가?
• RQ4 GAN, 스타일 전이, 강화 학습 등의 다수 기계학습 기법 통합이 히우리스틱이나 무작위 접근 방식에 비해 설계 탐색과 사용자 참여를 얼마나 향상시키는가?

주요 결과

• 평가 과정에서 사용자 선택을 예측하는 데 있어 강력한 성능을 보이며, 수확률 곡선 아래 면적(AUC) 점수가 높아 사용자 선호도 학습 정확도가 높았다.
• 제안 전략의 조합이 효율적인 학습과 탐색을 가능하게 하여 순수 무작위 제안 방법에 비해 선택률과 학습 속도에서 뛰어난 성능을 보였다.
• 13명의 비전문가를 대상으로 한 사용자 연구에서 시스템은 사용자 선호도를 효과적으로 학습했으며, 라운드당 좋아요를 누른 디자인 수가 증가함으로써 제안의 관련성이 점차 향상됨을 보였다.
• Iterator 구성 요소는 탐색과 이용을 성공적으로 균형 잡아, 새로운 것으로 영감을 주는 디자인을 제안하면서도 사용자 피드백에 적응했다.
• 조건부 GAN과 스타일 전이를 활용해 다양한 현실적인 디자인을 생성하는 데 성공했으며, 사용자가 부분적인 스케치나 기능 제약 조건만 제공해도 가능했다.
• 시스템의 선호도 모델은 '달콤하고 과일 향이 나며 여자스러운' 향수와 같은 복잡하고 명시적이지 않은 디자인 사양에도 일반화할 수 있을 정도로 강건했으며, 실생활 적용 잠재력을 보였다.