[논문 리뷰] A Neural Representation of Sketch Drawings

David Ha, Douglas Eck|arXiv (Cornell University)|2017. 04. 11.

Human Motion and Animation인용 수 545

한 줄 요약

Sketch-rnn은 벡터 스케치를 생성하고 재구성하는 데 학습하는 RNN 기반의 변분 오토인코더로, 조건부/비조건부 스케치 합성 및 잠재 공간 탐색을 가능하게 한다.

ABSTRACT

We present sketch-rnn, a recurrent neural network (RNN) able to construct stroke-based drawings of common objects. The model is trained on thousands of crude human-drawn images representing hundreds of classes. We outline a framework for conditional and unconditional sketch generation, and describe new robust training methods for generating coherent sketch drawings in a vector format.

연구 동기 및 목표

• 픽셀 기반 이미지 모델링의 대안으로 벡터(스트로크 기반) 그림용 생성 모델 개발의 필요성을 제시한다.
• 무조건 및 조건부 스케치 생성을 모두 수행할 수 있는 순환 신경망 프레임워크(sketch-rnn)를 제안한다.
• 벡터 스케치를 위한 견고한 학습 절차를 개발하고 잠재 공간 인코딩, 보간, 완성을 시연한다.
• 대규모의 공개 벡터 스케치 데이터셋과 오픈 소스 구현을 공개하여 추가 연구를 촉진한다.

제안 방법

• 스케치를 5요소 데이터 포인트(∆x, ∆y, p1, p2, p3)를 가진 펜 스트로크 동작의 시퀀스로 표현한다.
• VAE 프레임워크(µ, σ)를 통해 잠재 벡터 z를 생성하기 위해 양방향 인코더 RNN을 사용한다.
• z에 조건화된 자기회귀 디코더 RNN으로 다음 점을 예측하며 (∆x, ∆y)에 대해 가우시안 혼합 모델(GMM)을, 펜 상태(p1, p2, p3)에 대해 범주분포를 통해 예측한다.
• 예측 분포 아래 데이터의 가능도인 복원 손실 LR과 z와 표준 가우시안 간의 KL 발산 손실 LKL을 KL 어닐링과 함께 학습한다.
• 생성된 스케치의 다양성을 조절하기 위해 샘플링 무작위성을 온도 τ로 제어한다.
• 잠재 조건 입력을 제거하고 디코더만 사용하여 무조건 생성을 허용한다.

실험 결과

연구 질문

• RQ1 여러 객체 클래스에 걸쳐 일관된 벡터 스케치를 모델링하고 생성하기 위해 시퀀스-투-시퀀스 VAE를 학습시킬 수 있는가?
• RQ2 잠재 벡터 z에 대한 조건화가 스케치의 생성 및 재구성에 어떤 영향을 미치는가?
• RQ3 잠재 공간 형성과 보간 품질에 있어 KL 사전분포의 역할은 무엇인가?
• RQ4 모델이 스케치 완성, 스케치 간 보간, 잠재 공간에서의 교차 클래스 유사성(전이)을 수행할 수 있는가?
• RQ5 클래스 수 및 모델 하이퍼파라미터가 재구성 및 생성 품질에 어떤 영향을 미치는가?

주요 결과

데이터셋	wKL = 1.00 LR	wKL = 1.00 LKL	wKL = 0.50 LR	wKL = 0.50 LKL	wKL = 0.25 LR	wKL = 0.25 LKL	디코더 전용 LR	디코더 전용 LKL
고양이	-0.98	0.29	-1.33	0.70	-1.46	1.01	-0.57	-
돼지	-1.14	0.22	-1.37	0.49	-1.52	0.80	-0.82	-
고양이, 돼지	-1.02	0.22	-1.24	0.49	-1.50	0.98	-0.75	-
게, 얼굴, 돼지, 토끼	-0.91	0.22	-1.04	0.40	-1.47	1.17	-0.67	-
얼굴	-1.13	0.27	-1.55	0.71	-1.90	1.44	-0.73	-
소방차	-1.24	0.22	-1.26	0.24	-1.78	1.10	-0.90	-
정원	-0.79	0.20	-0.81	0.25	-0.99	0.54	-0.62	-
부엉이	-0.93	0.20	-1.03	0.34	-1.29	0.77	-0.66	-
모기	-0.67	0.30	-1.02	0.66	-1.41	1.54	-0.34	-
요가	-0.80	0.24	-1.07	0.55	-1.51	1.33	-0.48	-

• 모델은 다중 객체 클래스에서 조건부 및 무조건 모드 모두에서 벡터 스케치를 생성하고 재구성할 수 있다.
• 잠재 공간 보간은 스케치 간 일관된 모핑을 산출하며, 더 높은 KL 가중치는 매니폴드의 일관성과 보간 품질을 향상시킨다.
• 조건부 생성을 통해 잠재 공간에서 유사 관계와 신체 부위 조작이 가능해 의미 있는 의미론적 방향을 보여준다.
• 샘플링 온도 τ는 다양성을 조절하며, 낮은 τ는 보다 결정적이고 높은 품질의 재구성으로 이어진다.
• 모델은 스케치 완성, 네 방향 잠재 보간, 교차 클래스 전이(예: 고양이, 개의 특징)을 질적 평가에서 시연한다.
• 공개 QuickDraw 기반 벡터 스케치 데이터셋과 오픈 소스 구현이 이 연구와 함께 제공된다.