[논문 리뷰] PaintBot: A Reinforcement Learning Approach for Natural Media Painting

Biao Jia, Fang Chen외 3명|arXiv (Cornell University)|2019. 04. 03.

Computer Graphics and Visualization Techniques참고 문헌 30인용 수 8

한 줄 요약

PaintBot는 연속적이고 고차원적인 동작(색상, 압력, 폭, 기울기)을 사용하여 자연 미디어 그림을 자동으로 재현할 수 있도록 훈련하는 강화학습 프레임워크를 소개한다. 교육 과정 학습과 난이도 기반 샘플링을 활용한 근접 정책 최적화를 통해 다양한 그림 스타일에서 높은 정밀도의 스타일 전이를 달성하며, 이미지당 300초 이내로 세밀하고 고해상도 결과를 생성한다.

ABSTRACT

We propose a new automated digital painting framework, based on a painting agent trained through reinforcement learning. To synthesize an image, the agent selects a sequence of continuous-valued actions representing primitive painting strokes, which are accumulated on a digital canvas. Action selection is guided by a given reference image, which the agent attempts to replicate subject to the limitations of the action space and the agent's learned policy. The painting agent policy is determined using a variant of proximal policy optimization reinforcement learning. During training, our agent is presented with patches sampled from an ensemble of reference images. To accelerate training convergence, we adopt a curriculum learning strategy, whereby reference patches are sampled according to how challenging they are using the current policy. We experiment with differing loss functions, including pixel-wise and perceptual loss, which have consequent differing effects on the learned policy. We demonstrate that our painting agent can learn an effective policy with a high dimensional continuous action space comprising pen pressure, width, tilt, and color, for a variety of painting styles. Through a coarse-to-fine refinement process our agent can paint arbitrarily complex images in the desired style.

연구 동기 및 목표

• 수동 규칙 설계 없이 데이터 기반의 종단 간 프레임워크를 개발하기 위해.
• 강화학습을 사용하여 연속적이고 고차원적인 동작 공간(색상, 압력, 폭, 기울기)에서 그림 제작 에이전트를 훈련하기 위해.
• 교육 과정 학습과 난이도 기반 샘플링을 통해 훈련 효율성과 정책 수렴을 향상시키기 위해.
• 거시적에서 미세한 해상도로의 정교화 과정을 통해 스타일 전이 및 고해상도 이미지 생성을 가능하게 하기 위해.
• 제한된 훈련 데이터로 다양한 그림 스타일에 대한 일반화 능력을 입증하기 위해.

제안 방법

• 그림 제작 에이전트는 연속적 동작 공간에서 각 스토리지에 대한 행동을 선택하는 정책을 학습하기 위해 근접 정책 최적화(PPO)를 사용한다. 이는 디지털 캔버스 환경(SSPE)에서 수행된다.
• 행동는 6차원 벡터로 표현되며, 펜 색상, 압력, 폭, 기울기를 포함하여 풍부한 스토리지 변형을 가능하게 한다.
• 훈련은 현재 정책 하에서 난이도 기반으로 패치를 샘플링하는 교육 과정 학습 전략을 사용하여 수렴 속도를 가속화한다.
• 에이전트는 상태 표현으로 작은 이미지 패치(41×82×3)를 관찰하여 정보를 제한하면서도 계산 부담을 줄인다.
• 손실 함수로 픽셀 단위 손실과 인지적 손실을 사용하여 정책 학습을 이끌고 시각적 품질을 향상시킨다.
• 거시적에서 미세한 해상도로의 정교화 과정을 통해 점진적으로 스케일을 증가시키며 고해상도 출력을 가능하게 한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 연속적이고 고차원적인 동작 공간에서 자연 미디어 그림을 고정밀도로 생성할 수 있는가?
• RQ2 난이도 기반 샘플링을 통한 교육 과정 학습은 훈련 효율성과 정책 성능을 어떻게 향상시키는가?
• RQ3 소규모 참조 이미지 데이터셋만으로도 훈련된 에이전트가 다양한 그림 스타일에 얼마나 잘 일반화되는가?
• RQ4 다양한 손실 함수(픽셀 단위 vs. 인지적)는 생성된 그림의 품질과 스타일 정확도에 어떤 영향을 미치는가?
• RQ5 현재 동작 표현과 상태 관찰 방식은 복잡한 자연 미디어 효과를 포괄하는 데 어떤 한계를 갖는가?

주요 결과

• 그림 제작 에이전트는 강화학습만으로도 물감, 기름그림, 포인틸리즘 등 다양한 자연 미디어 스타일에 대해 견고한 정책을 학습한다.
• 교육 과정 학습과 난이도 기반 샘플링을 통해 균일한 샘플링 대비 수렴 속도가 약 20% 향상된다.
• 에이전트는 표준 데스크톱 PC에서 이미지당 300초 이내로 고해상도 그림(최대 1024×1024)을 생성한다.
• 픽셀 단위 손실만 사용하는 것보다 인지적 손실을 사용할 경우 더 높은 시각적 품질과 더 정확한 스타일 전이가 이루어진다.
• 실패 사례로는 데이터셋 편향으로 인한 색상 오류와 제약 없는 동작 표현으로 인한 비자연스러운 스토리지 패턴이 있으며, 특히 색상 변경 중에 스토리지가 발생할 경우 두드러진다.
• 본 방법은 스타일 전이에 잘 일반화된다: 반 고흐, 터너, 베르머, 신โจ우의 그림으로 훈련된 에이전트는 새로운 참조 이미지에 대해 목표 스타일을 성공적으로 재현한다.