[논문 리뷰] Neural Painters: A learned differentiable constraint for generating brushstroke paintings

Reiichiro Nakano|arXiv (Cornell University)|2019. 04. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 30

한 줄 요약

이 논문은 실제 페인팅 프로그램을 미분 가능한 시뮬레이션으로 구현한 Neural Painters를 소개한다. 이는 브러시스트로크 생성 과정을 종단 간 백프로파게이션 가능하게 한다. VAE나 GAN을 통해 신경 페인터를 훈련시킴으로써 이미지 복원에서 수렴 속도를 높이고, 이미지넷 클래스의 시각화나 내재적 스타일 전이와 같은 새로운 응용을 가능하게 한다. 여기서 브러시스트로크가 콘텐츠 손실 최적화를 통해 자연스럽게 예술적 스타일을 결정한다.

ABSTRACT

We explore neural painters, a generative model for brushstrokes learned from a real non-differentiable and non-deterministic painting program. We show that when training an agent to "paint" images using brushstrokes, using a differentiable neural painter leads to much faster convergence. We propose a method for encouraging this agent to follow human-like strokes when reconstructing digits. We also explore the use of a neural painter as a differentiable image parameterization. By directly optimizing brushstrokes to activate neurons in a pre-trained convolutional network, we can directly visualize ImageNet categories and generate "ideal" paintings of each class. Finally, we present a new concept called intrinsic style transfer. By minimizing only the content loss from neural style transfer, we allow the artistic medium, in this case, brushstrokes, to naturally dictate the resulting style.

연구 동기 및 목표

• 비미분 가능하고 비결정적인 페인팅 프로그램에 대한 미분 가능한 시뮬레이션을 개발하여, 브러시스트로크 기반 이미지 생성의 종단 간 훈련을 가능하게 한다.
• 강화 학습을 대체하여 브러시스트로크에 대한 미분 가능한 최적화를 통해 이미지 복원 작업의 수렴 속도를 가속화한다.
• 브러시스트로크를 직접 최적화하여 특정 클래스 활성화를 최대화함으로써 사전 훈련된 ImageNet 분류기의 내부 표현을 시각화할 수 있도록 한다.
• 명시적인 스타일 손실 없이도 브러시스트로크 기반 원소가 자연스럽게 아티스틱 스타일을 생성하는 내재적 스타일 전이를 도입한다.
• 신규 이미지 편집 및 생성 작업을 위한 다양한 이미지 편집 및 생성 작업에 신경 페인터를 미분 가능한 이미지 파arameterization으로 활용해 본다.

제안 방법

• 실제 MyPaint 프로그램 출력물에서 브러시스트로크의 잠재 공간을 학습하기 위해 변동형 오토인코더(VAE)를 훈련한다.
• 실제와 생성된 스트로크를 적대적으로 구분함으로써 현실적인 브러시스트로크를 생성하는 GAN 기반 신경 페인터를 훈련한다.
• 신경 페인터를 미분 가능한 이미지 파arameterization으로 사용하여, 스트로크 파라미터를 통해 역전파가 가능하게 하여 특정 목표를 최적화한다.
• 신경 스타일 전이에서 콘텐츠 손실을 최소화하기 위해 브러시스트로크를 역전파로 최적화함으로써, 브러시스트로크 특성에 의해 결정되는 스타일이 자연스럽게 유도된다.
• 디지트 복원 중에 인간과 유사한 스트로크 패턴을 따르도록 유도하기 위해 전처리(preconditioning)를 적용한다.
• 여러 개의 64x64 캔버스를 연결하여 GPU 메모리에 제한된 고해상도 출력물을 생성한다.

실험 결과

연구 질문

• RQ1 실제 비미분 가능한 페인팅 데이터로 훈련된 미분 가능한 신경 페인터가 브러시스트로크 기반 이미지 생성에서 훈련 수렴을 현저히 향상시킬 수 있는가?
• RQ2 브러시스트로크를 직접 최적화함으로써 사전 훈련된 ImageNet 분류기의 내부 표현을 어떻게 시각화할 수 있는가?
• RQ3 콘텐츠 손실만 최소화함으로써 내재적 스타일 전이를 달성할 수 있는가? 이 경우 브러시스트로크 매체가 자연스럽게 결과 예술 스타일을 정의하는가?
• RQ4 픽셀 기반 최적화와 비교했을 때, 신경 페인터를 미분 가능한 이미지 파arameterization으로 사용할 때의 이점은 무엇인가?
• RQ5 색조, 고정 크기 등의 다양한 스트로크 제약 조건이 생성된 예술적 출력물의 다양성과 품질에 어떤 영향을 미치는가?

주요 결과

• 신경 페인터 방법은 강화 학습을 사용하지 않고도, 적대적 훈련 기반 파라다임을 통해 SPIRAL과 유사한 CelebA 복원 성능를 달성하였으며, 강화 학습보다 더 빠른 수렴 속도를 보였다.
• 신경 페인터를 미분 가능한 이미지 파arameterization으로 사용함으로써, 사전 훈련된 네트워크의 활성화를 최대화하기 위해 브러시스트로크를 직접 최적화할 수 있었으며, '판다', '벌', '바이올린'과 같은 ImageNet 클래스의 다양한 시각화 결과를 생성했다.
• 콘텐츠 손실만 최소화함으로써 달성된 내재적 스타일 전이는, 브러시스트로크 원소에서 자연스럽게 유도된 페인터리한 렌더링을 만들어냈으며, 회색조 등의 제약 조건이 적용되었을 때는 뚜렷한 시각적 차이를 보였다.
• 여러 개의 64x64 캔버스를 연결함으로써 GPU 메모리에 제한된 고해상도 이미지 생성이 가능했으며, 기본 해상도를 초월한 확장 가능한 출력이 가능했다.
• 전처리 기법이 디지트 복원 과정에서 에이전트가 인간과 유사한 스트로크 패턴을 학습하는 데 기여하여, 더 자연스러운 시각적 타당성을 향상시켰다.
• 브러시 크기, 압력, 색상 등의 예술 매체 제약 조건이 출력 스타일을 자연스럽게 형성한다는 점을 입증하였으며, 이는 스플래터 페인팅이나 3D 조각과 같은 다른 예술 매체로의 광범위한 적용 가능성을 시사한다.