[논문 리뷰] Teaching GANs to Sketch in Vector Format

V Varshaneya, S. Balasubramanian외 1명|arXiv (Cornell University)|2019. 04. 07.

Computer Graphics and Visualization Techniques참고 문헌 30인용 수 7

한 줄 요약

이 논문은 혼합 연속형(이동량)과 이산형(펜 상태) 출력을 처리하기 위해 정책 기반 강화 학습을 사용하는 새로운 GAN 아키텍처인 SkeGAN을 제안한다. 또한 VAE-GAN 하이브리드인 VASkeGAN도 제안한다. 주요 기여는 Ske-score 평가 지표의 도입과, 적대적 손실과 정책 기반 강화 학습 손실을 결합한 결과(가중치 1.0)가 '스케치 효과'(scribble effect)를 제거하고, 더 뛰어난 시각적 품질과 더 자연스러운 스케치를 생성하며, VAE-GAN 기준보다 빠른 학습 속도를 달성한다는 것을 입증한 것이다.

ABSTRACT

Sketching is more fundamental to human cognition than speech. Deep Neural Networks (DNNs) have achieved the state-of-the-art in speech-related tasks but have not made significant development in generating stroke-based sketches a.k.a sketches in vector format. Though there are Variational Auto Encoders (VAEs) for generating sketches in vector format, there is no Generative Adversarial Network (GAN) architecture for the same. In this paper, we propose a standalone GAN architecture SkeGAN and a VAE-GAN architecture VASkeGAN, for sketch generation in vector format. SkeGAN is a stochastic policy in Reinforcement Learning (RL), capable of generating both multidimensional continuous and discrete outputs. VASkeGAN hybridizes a VAE and a GAN, in order to couple the efficient representation of data by VAE with the powerful generating capabilities of a GAN, to produce visually appealing sketches. We also propose a new metric called the Ske-score which quantifies the quality of vector sketches. We have validated that SkeGAN and VASkeGAN generate visually appealing sketches by using Human Turing Test and Ske-score.

연구 동기 및 목표

• 스위치 기반의 벡터 스케치 생성을 위한 GAN 기반 아키텍처의 부족을 해결하며, 인간 인지에 핵심적인 요소이자 연속형과 이산형 출력을 동시에 필요로 하는 스케치 생성 문제를 다룬다.
• 벡터 스케치 생성에서 이산형 펜 상태에 대한 역전파 문제를 정책 기반 강화 학습 방법을 통해 해결한다.
• 실제 스케치와의 유사도를 기반으로 인간 평가를 반영한 새로운 평가 지표인 Ske-score를 제안하여 생성된 벡터 스케치의 품질을 정량적으로 평가한다.
• 적대적 손실과 정책 기반 강화 학습 손실을 결합한 결과가 기존 VAE 기반 모델 대비 더 뛰어난 시각적 품질과 더 낮은 '스케치 효과'를 보임을 입증한다.
• 시각적 품질을 유지하거나 향상시키면서도 VAE-GAN 기준보다 더 빠른 학습 수렴 속도를 달성한다.

제안 방법

• SkeGAN을 제안하며, 이는 2차원 연속형 이동량과 3차원 이산형 펜 상태의 확률적 생성을 정책 기반 강화 학습을 통해 모델링하는 독립형 GAN 아키텍처이다.
• 스케치 도중 이동량이 펜 상태 전이에 미치는 영향을 모델링하기 위해 SkeGAN 내에서 새로운 결합 메커니즘을 도입한다.
• VAE의 효율적인 잠재 표현과 GAN의 강력한 구분 능력을 융합한 하이브리드 VAE-GAN 아키텍처인 VASkeGAN을 설계한다.
• 실제 스케치와의 유사도와 인간 평가를 기반으로 한 인지적 품질을 정량화하는 Ske-score 지표를 개발한다.
• 적대적 손실과 정책 기반 강화 학습 손실을 균형 잡힌 손실 함수로 조합하여 SkeGAN을 학습하며, 최적의 가중치 설정을 도출하기 위해 하이퍼파rameter 분석을 실시한다.
• 모든 모델에서 GRU와 LSTM 기반의 구분자(discriminator)를 사용하며, 스케치 카테고리별로 최적의 구분자 아키텍처를 선택하기 위해 분석 연구를 수행한다.

Figure 1: Scribble effect of [ 11 ] with yoga pose sketches (left) and mosquito sketches (right).

실험 결과

연구 질문

• RQ1 VAE에 의존하지 않고 혼합 연속형 및 이산형 출력(이동량과 펜 상태)을 처리하는 GAN 기반 아키텍처가 고품질의 벡터 스케치를 효과적으로 생성할 수 있는가?
• RQ2 정책 기반 강화 학습 손실을 적대적 학습과 통합할 경우 생성된 벡터 스케치의 시각적 품질과 구조적 일관성은 어떻게 영향을 받는가?
• RQ3 제안된 Ske-score 지표는 인간의 스케치 품질 인지와 얼마나 높은 상관관계를 가지는가?
• RQ4 최적의 시각적 품질과 학습 안정성 간의 균형을 이루기 위한 하이퍼파rameter 설정(예: 손실 가중치)은 무엇인가?
• RQ5 샘플 품질과 학습 효율성 측면에서 SkeGAN이 VASkeGAN을 초월하는가?

주요 결과

• SkeGAN은 VASkeGAN에 비해 더 뛰어난 시각적 품질의 스케치를 생성하며, 더 선명하고 자연스럽고 예술적인 스트로크를 구현하여 실제 인간이 그린 스케치와 유사하다.
• 정책 기반 강화 학습 손실과 적대적 손실의 최적 가중치는 둘 다 1.0이며, 이 설정이 Ske-score를 최대화하고 '스케치 효과'를 최소화한다.
• 정책 기반 강화 학습 손실의 가중치가 증가할수록 Ske-score가 증가하며, 실제 데이터셋의 Ske-score(고양이: 0.18 ± 0.07, 소방차: 0.12 ± 0.05)에 가까워질수록 '스케치 효과'가 효과적으로 감소함을 나타낸다.
• VASkeGAN에서는 KL 분산 손실 가중치(w_KL = 0.25, 0.5, 1.0)의 변화에 따라 Ske-score에 유의미한 향상이 없었으며, 이는 w_KL와 스케치 품질 간의 상관관계가 없음을 시사한다.
• SkeGAN은 VASkeGAN보다 더 빠른 학습 수렴 속도를 보이며, 200,000 반복 학습에 9.88~19.77시간(비교 기준 33.33시간)이 소요되어 더 효율적인 기울기 갱신을 구현한다.
• 대체로 LSTM 구분자가 GRU보다 우수한 성능을 보였지만, '소방차' 카테고리에서는 GRU가 더 나은 성능을 보였으며, 이는 구분자 선택이 스케치 클래스에 민감함을 시사한다.

Figure 2: Generator (Left) and Discriminator (Right) of SkeGAN