[논문 리뷰] Deep Learning for Identifying Potential Conceptual Shifts for Co-creative Drawing

Pegah Karimi, Nicholas M. Davis외 2명|arXiv (Cornell University)|2018. 01. 02.

Design Education and Practice참고 문헌 8인용 수 3

한 줄 요약

이 논문은 사용자 스케치를 서로 다른 카테고리의 구조적으로 유사한 스케치와 매칭함으로써 개념적 전환을 식별하는 딥러닝 기반의 공동 창작 스케치 시스템을 제시한다. VGG-16 특징과 k-means 클러스터링을 사용해 Quick, Draw! 데이터셋으로 훈련된 시스템은 클러스터 중심 간 유클리드 거리 계산을 통해 잠재적인 개념적 혼합을 탐지하며, 사용자의 창의성을 향상시키기 위해 AI가 교차 카테고리 스케치 변환을 제안한다.

ABSTRACT

We present a system for identifying conceptual shifts between visual categories, which will form the basis for a co-creative drawing system to help users draw more creative sketches. The system recognizes human sketches and matches them to structurally similar sketches from categories to which they do not belong. This would allow a co-creative drawing system to produce an ambiguous sketch that blends features from both categories.

연구 동기 및 목표

• 사용자의 창의성을 향상시키기 위해 AI 기반의 개념적 전환을 통해 공동 창작 스케치 시스템을 개발하는 것.
• 다른 시각적 카테고리 간의 구조적 유사성을 식별함으로써 새로운 스케치 아이디어를 생성하는 데 도전하는 것.
• 서로 관련이 없는 스케치 카테고리 간의 자유 연상 가능성을 높이기 위해 잠재적인 개념적 혼합을 탐지함으로써 관련 없는 카테고리 간 자유 연상을 가능하게 하는 것.
• 사용자 스케치를 인식하고, 카테고리가 다른 구조적으로 유사한 스케치를 응답으로 제공할 수 있는 시스템을 훈련하는 것.

제안 방법

• 시스템은 Quick, Draw! 데이터셋으로 미세조정된 사전 훈련된 VGG-16 네트워크를 사용하여 스케치에서 4096차원의 특징 벡터를 추출한다.
• 스케치는 VGG-16의 첫 번째 완전 연결층(fc1)을 통해 고수준 표현으로 임bedding된다.
• 이러한 임베딩에 대해 k-means 클러스터링을 적용하여 동일한 물체 카테고리 내에서 구조적으로 유사한 스케치를 하위 카테고리로 그룹화한다.
• 사용자 스케치 클러스터의 중심과 다른 카테고리의 클러스터 중심 간 유클리드 거리를 계산하여 개념적 전환을 식별한다.
• 다른 카테고리에서 가장 가까운 클러스터를 가장 유망한 개념적 전환으로 선정한다.
• 시스템은 매칭된 클러스터에서 응답 스케치를 기여하며, 현재는 무작위 선택을 통해 이루어지며, 향후 신경망 생성 기반으로 개선할 계획이다.

실험 결과

연구 질문

• RQ1 공동 창작 시스템은 서로 다른 개념적 카테고리의 스케치 간 구조적 유사성을 어떻게 탐지하여 개념적 혼합을 가능하게 할 수 있는가?
• RQ2 어떤 딥러닝 기반의 특징 표현이 동일 카테고리 내 다양한 스케치 변형을 효과적으로 클러스터링할 수 있는가?
• RQ3 딥 페처 기반 클러스터링은 자유 연상 스케칭에서 잠재적인 개념적 전환을 식별하는 데 어떻게 향상시킬 수 있는가?
• RQ4 다른 카테고리에서 가장 유망한 개념적 전환을 신뢰성 있게 순위 매길 수 있는 지표나 기준은 무엇인가?
• RQ5 시스템의 응답은 다양한 입력과 반복 과정에서 어떻게 변화하는가? 그리고 다양한 맥락에 맞는 개념적 전환을 생성할 수 있는가?

주요 결과

• 시스템은 클러스터 중심 간 유클리드 거리를 사용하여 서로 다른 카테고리 간에 구조적으로 유사한 스케치를 성공적으로 식별함으로써 잠재적인 개념적 전환을 가능하게 했다.
• VGG-16 특징에 기반한 클러스터링은 동일한 물체의 다양한 스케치 변형을 의미 있는 하위 카테고리로 효과적으로 그룹화하여 카테고리 내 분산을 감소시켰다.
• 사례 연구를 통해 단일 입력 스케치에 대해 시스템이 다수의 타당한 개념적 전환 응답을 생성할 수 있음을 입증했으며, 예를 들어 감자를 꽃이나 이를 닮은 형태로 변형하는 데 성공했다.
• 시스템은 시각적으로 타당한 개념적 혼합을 생성했으며, 낮은 거리 매칭이 강한 구조적 유사성을 나타내었고, 그림 3에서 이를 확인할 수 있었다.
• 동일한 물체의 다수의 입력(예: 다양한 꽃이나 이가 포함된 경우)에 대해 시스템은 서로 다른 개념적 전환을 식별함으로써 사용자 입력의 변화에 적응 가능함을 보였다.
• 이러한 접근은 AI와 사용자가 교차 카테고리 시각적 변환을 탐색함으로써 공동 창작하는 자유 연상 게임 프레임워크를 가능하게 했다.