[논문 리뷰] Differentiable Drawing and Sketching

Daniela Mihai, Jonathon Hare|arXiv (Cornell University)|2021. 03. 30.

Advanced Vision and Imaging참고 문헌 36인용 수 9

한 줄 요약

이 논문은 거리 변환을 통한 픽셀 래스터라이제이션 재구성과 이를 통해 엔드 투 엔드 학습을 위한 완화를 통해 점, 선, 곡선과 같은 도형을 렌더링하기 위한 미분 가능한 래스터라이제이션 방법을 제안한다. 이 방법은 사진에서 스케치를 직접 최적화하고 수동으로 벡터화하는 데에 기여하며, 물리적으로 타당한 구성 프레임워크를 통해 다양한 미분 가능한 드로잉 및 스케치 작업에서 뛰어난 성능을 보여준다.

ABSTRACT

We present a bottom-up differentiable relaxation of the process of drawing points, lines and curves into a pixel raster. Our approach arises from the observation that rasterising a pixel in an image given parameters of a primitive can be reformulated in terms of the primitive's distance transform, and then relaxed to allow the primitive's parameters to be learned. This relaxation allows end-to-end differentiable programs and deep networks to be learned and optimised and provides several building blocks that allow control over how a compositional drawing process is modelled. We emphasise the bottom-up nature of our proposed approach, which allows for drawing operations to be composed in ways that can mimic the physical reality of drawing rather than being tied to, for example, approaches in modern computer graphics. With the proposed approach we demonstrate how sketches can be generated by directly optimising against photographs and how auto-encoders can be built to transform rasterised handwritten digits into vectors without supervision. Extensive experimental results highlight the power of this approach under different modelling assumptions for drawing tasks.

연구 동기 및 목표

• 점, 선, 곡선과 같은 도형을 렌더링하기 위한, 밑에서부터 축적되는 방식의 미분 가능한 래스터라이제이션 방법을 개발하는 것.
• 거리 변환을 통한 래스터라이제이션의 완화를 통해 스케치의 엔드 투 엔드 최적화를 가능하게 하는 것.
• 그래픽스 파이프라인의 제약 조건이 아닌 실제 드로잉 과정의 물리적 현실을 반영하는 조합적 드로잉 과정을 모델링하는 것.
• 사진에 대해 최적화하여 스케치 생성과 수동으로 벡터화된 손글씨 숫자를 수행하는 것.
• 딥 러닝 및 비전 응용 분야에서 다양한 미분 가능한 드로잉을 위한 유연하고 학습 가능한 기반을 제공하는 것.

제안 방법

• 도형의 픽셀 래스터라이제이션을 그 도형의 거리 변환에 대한 함수로 재정의하여, 가중치의 미분 가능성을 확보한다.
• 거리 변환을 완화하여 위치, 각도, 형태와 같은 도형 매개변수의 기울기 기반 최적화를 가능하게 한다.
• 실제 드로잉 과정을 모방하는 방식으로 도형을 쌓는, 미분 가능한 조합 메커니즘을 사용한다.
• 신경망에 미분 가능한 도형을 통합하여 엔드 투 엔드 훈련을 수행한다.
• 최적화 기반 스케치 생성과 래스터 이미지의 벡터 표현 자동 인코딩에 이 프레임워크를 적용한다.
• 미분 가능성의 특성을 활용하여, 숫자의 벡터화와 같은 작업에 대해 지도 학습 없이 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 기본 도형의 래스터라이제이션은 거리 변환의 기하학적 완화를 통해 미분 가능하게 만들 수 있는가?
• RQ2 미분 가능한 도형 도구들은 어떻게 조합되어 실제적인 층위의 드로잉 과정을 모델링할 수 있는가?
• RQ3 목표 이미지에 대한 재구성 오차를 직접 최소화함으로써 스케치의 엔드 투 엔드 최적화를 달성할 수 있는가?
• RQ4 비지도 자동 인코더는 오직 미분 가능한 래스터라이제이션만을 사용하여 손글씨 숫자의 의미 있는 벡터 표현을 얼마나 잘 학습할 수 있는가?
• RQ5 기존의 그래픽스나 신경 렌더링과 비교했을 때, 밑에서부터 축적되는 기하학 기반 접근 방식은 스케치 관련 작업에서 어떤 성능을 보이는가?

주요 결과

• 제안된 미분 가능한 래스터라이제이션은 사진에서 직접 스케치를 최적화할 수 있게 하여 현실적이고 세밀한 선 그림을 생성한다.
• 미분 가능한 도형을 사용해 훈련된 비지도 자동 인코더는 지도 벡터 레이블 없이도 MNIST 숫자의 벡터화된 표현을 성공적으로 재구성한다.
• 이 방법은 도형 매개변수를 역전파를 통해 최적화할 수 있도록 딥 네트워크의 엔드 투 엔드 훈련을 지원한다.
• 프레임워크는 실제 드로잉 행동을 반영하는 현실적인 층위와 혼합 효과를 갖춘 조합적 드로잉을 허용한다.
• 광범위한 실험 결과는 이 방법이 다양한 모델링 가정에 일반화되며 스케치 생성 및 벡터화 작업에서 뛰어난 성능을 달성함을 보여준다.
• 거리 변환의 완화는 선이나 모서리와 같이 부드럽지 않은 도형에 대해서도 안정적인 기울기를 제공한다.