[논문 리뷰] BézierSketch: A generative model for scalable vector sketches

Ayan Das, Yongxin Yang외 3명|View|2020. 07. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 5

한 줄 요약

BézierSketch는 밀도 높은 웨이포인트가 아닌 매개변수화된 Bézier 곡선으로 스트로크를 표현함으로써 확장 가능하고 고해상도 벡터 스케치를 생성하는 새로운 생성 모델을 제안한다. 이 모델은 실제 스케치를 부드러운 곡선으로 임bedding하기 위해 미분 가능한 역영상학적 BézierEncoder를 도입하여, 순환 VAE 기반 생성기(BézierSketch)를 가능하게 하며, SketchRNN보다 더 길고 확장 가능하며 고해상도의 스케치를 생성한다. Quick, Draw! 벤치마크에서 정량적 성능 향상이 이루어졌다.

ABSTRACT

The study of neural generative models of human sketches is a fascinating contemporary modeling problem due to the links between sketch image generation and the human drawing process. The landmark SketchRNN provided breakthrough by sequentially generating sketches as a sequence of waypoints. However this leads to low-resolution image generation, and failure to model long sketches. In this paper we present BézierSketch, a novel generative model for fully vector sketches that are automatically scalable and high-resolution. To this end, we first introduce a novel inverse graphics approach to stroke embedding that trains an encoder to embed each stroke to its best fit Bézier curve. This enables us to treat sketches as short sequences of paramaterized strokes and thus train a recurrent sketch generator with greater capacity for longer sketches, while producing scalable high-resolution results. We report qualitative and quantitative results on the Quick, Draw! benchmark.

연구 동기 및 목표

• 밀도 높은 웨이포인트 표현 방식으로 인해 저해상도이고 확장 불가능한 스케치를 생성하는 SketchRNN의 한계를 해결한다.
• 픽셀 기반 웨이포인트가 아닌 매개변수화된 Bézier 곡선으로 스케치를 모델링하여 고해상도 및 완전한 확장성 있는 벡터 그래픽스 생성을 가능하게 한다.
• Bézier 곡선 매개변수를 사용한 스트로크 수준의 표현으로 시퀀스 길이를 단축시켜 순차 모델의 용량 한계를 극복한다.
• 실제 인간의 스케치를 이해할 수 있는 Bézier 곡선 제어점으로 매핑하기 위해, 미분 가능하고 역행할 수 있는 인코딩 방법을 개발하여 엔드 투 엔드 훈련을 가능하게 한다.
• Bézier 곡선의 기하학적 밀도와 부드러움을 활용하여 장시간 스케치의 생성 품질과 확장성을 향상시킨다.

제안 방법

• 실제 스케치 스트로크를 최적의 피팅을 갖춘 Bézier 곡선 제어점으로 매핑하기 위해, 역영상학 방식으로 훈련된 신경망인 BézierEncoder를 도입한다.
• 제어점에서 스트로크를 재구성하기 위해 화이트박스 Bézier 디코더를 사용하여, 엔코더의 엔드 투 엔드 훈련을 위한 미분 가능한 감독을 가능하게 한다.
• 웨이포인트가 아닌 Bézier 곡선 제어점의 시퀀스로 각 스케치를 표현함으로써 시퀀스 길이를 단축하고 더 긴 스케치 모델링을 가능하게 한다.
• 제어점 차이와 펜 상태 플래그를 입력 토큰으로 사용하여, 양방향 LSTM 인코더와 자동재귀적 LSTM 디코더를 갖춘 시퀀스-투-시퀀스 VAE로 BézierSketch를 훈련한다.
• 제어점 매개변수에 대한 가우시안 분포를 모델링하여 제어점의 불확실성을 표현함으로써, 확률적 생성과 더 높은 다양성을 가능하게 한다.
• 재구성 및 변분 추론을 통해 VAE 목적함수를 최적화하며, 재구성 오차, 플래그 비트 교차엔트로피, KL 발산을 통합한다.

실험 결과

연구 질문

• RQ1 미분 가능한 역영상학적 접근이 실제 인간의 스케치 스트로크를 이해할 수 있는 Bézier 곡선 매개변수로 효과적으로 임베딩할 수 있는가?
• RQ2 Bézier 곡선을 사용한 스트로크 수준의 모델링이 웨이포인트 기반 모델 대비 더 높은 해상도와 완전한 확장성 있는 벡터 출력을 가능하게 하는가?
• RQ3 Bézier 제어점에 기반한 시퀀스-투-시퀀스 VAE가 SketchRNN보다 더 길고 다양하며 고해상도의 스케치를 생성할 수 있는가?
• RQ4 Bézier 곡선을 사용할 경우, 줌 인했을 때 생성된 스케치의 확장성과 시각적 정밀도가 어떻게 향상되는가?
• RQ5 기존 모델 대비 FID, Fréchet Sketch Distance, 그리고 정량적 생성 품질 측정 기준에서 벤치마크 데이터셋에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• BézierSketch는 SketchRNN에 비해 눈에 띄게 뛰어난 시각적 품질과 확장성을 확보하였으며, 고해상도 줌 인에서도 스케치가 부드럽고 선명하게 유지된다.
• 모델은 픽셀화된 선분이 아닌 부드러운 Bézier 곡선을 생성함으로써 고해상도 벡터 그래픽스를 생성하며, 손실 없는 확대가 가능하다.
• Bézier 곡선 표현 방식을 사용함으로써 웨이포인트 시퀀스 대비 수십만 배 수준으로 시퀀스 길이가 감소하여, 더 긴 스케치 생성과 더 높은 용량의 모델링이 가능해졌다.
• Quick, Draw! 벤치마크에서의 정량적 평가 결과, 실제 스케치와의 분포 일치도가 향상된 Fréchet Sketch Distance (FSD) 및 FID 점수를 확보하였다.
• BézierEncoder는 실제 스케치 스트로크를 정확한 Bézier 곡선 근사로 효과적으로 임베딩하는 것을 학습하였으며, 훈련 과정에서 최적 피팅으로 수렴하는 시각화 결과가 확인되었다.
• 가우시안 분포를 갖는 제어점을 통한 확률적 생성은 일관성 있고 다양한 스케치를 생성하였으며, 이는 모델이 스케치의 다양성을 잘 포착하고 있음을 보여준다.