[논문 리뷰] LPaintB: Learning to Paint from Self-Supervision

Biao Jia, Jonathan Brandt외 3명|arXiv (Cornell University)|2019. 06. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 4

한 줄 요약

LPaintB는 자기지도 학습과 근접 정책 최적화(PPO)를 융합하여 브러시 스트로크를 사용해 기준 이미지를 재현할 수 있도록 학습하는 강화학습 기반의 그림 그리기 에이전트를 제안한다. 실패한 롤아웃의 최종 상태를 재활용하여 긍정적인 훈련 데이터를 자동으로 생성함으로써, 초기 학습에서의 샘플 효율성과 성능을 크게 향상시켰으며, 1000×800 해상도의 이미지에 대해 20,000개의 브러시 스트로크를 사용할 때 GTX 1080 GPU에서 30초 이내에 고품질 결과를 도출한다.

ABSTRACT

We present a novel reinforcement learning-based natural media painting algorithm. Our goal is to reproduce a reference image using brush strokes and we encode the objective through observations. Our formulation takes into account that the distribution of the reward in the action space is sparse and training a reinforcement learning algorithm from scratch can be difficult. We present an approach that combines self-supervised learning and reinforcement learning to effectively transfer negative samples into positive ones and change the reward distribution. We demonstrate the benefits of our painting agent to reproduce reference images with brush strokes. The training phase takes about one hour and the runtime algorithm takes about 30 seconds on a GTX1080 GPU reproducing a 1000x800 image with 20,000 strokes.

연구 동기 및 목표

• 목표 이미지와 쌍화된 인간의 브러시 스트로크 데이터 없이도, 참조 이미지를 브러시 스트로크로 재현할 수 있도록 학습하는 지능형 그림 그리기 에이전트를 개발하는 것.
• 자연미디어 그림 그리기의 강화학습에서 희박한 보상 신호 문제를 해결하기 위해 샘플 효율성을 향상시키는 것.
• 전문가가 애너테이션한 동작 시퀀스가 필요 없이도 새로운 스타일과 이미지에 일반화할 수 있도록 하는 것.
• 비용이 많이 드는 인간 애너테이션 데이터셋에 대한 의존도를 줄이기 위해, 실패한 롤아웃에서 자동으로 수집한 자기지도 데이터를 활용하는 것.
• 자기지도 학습과 강화학습의 융합 프레임워크를 통해 훈련 속도를 가속화하고 정책 성능을 향상시키는 것.

제안 방법

• 현재 렌더링 결과와 기준 参照 이미지를 모두 관측 정보로 포함하는 근접 정책 최적화(PPO)를 사용한다.
• 실패한 롤아웃의 최종 상태를 긍정적인 훈련 예제로 재활용하는 자기지도 데이터 수집 기법을 도입하여, 목표 상태를 최종 렌더링 결과로 대체한다.
• 행동 공간은 연속적이며, 브러시의 위치, 방향, 길이, 크기 등의 파rameter로 정의된다.
• 훈련 단계에서는 참조 이미지 외에 쌍화된 인간의 브러시 스트로크 데이터를 전혀 사용하지 않으며, 실패한 롤아웃에서 유도된 자기지도 데이터에 의존한다.
• 정책 네트워크는 자기지도 데이터와 강화학습을 병행하여 미세조정함으로써 빠른 수렴과 향상된 성능을 달성한다.
• 효율적인 렌더링 시스템은 훈련된 에이전트를 사용해 고해상도의 스트로크 기반 그림을 실시간으로 생성한다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 인간 애너테이션된 동작 없이 자연미디어 그림 그리기의 강화학습에 대해 긍정적인 훈련 데이터를 효과적으로 생성할 수 있는가?
• RQ2 자기지도 데이터 수집과 강화학습을 융합함으로써, 초기 학습에서의 샘플 효율성과 정책 성능이 어떻게 향상되는가?
• RQ3 학습된 에이전트가 새로운 참조 이미지와 다양한 예술 스타일에 대해 얼마나 잘 일반화되는가?
• RQ4 이전의 강화학습 기반 그림 그리기 에이전트와 비교했을 때, 제안된 방법은 성능과 효율성 면에서 어떤가?
• RQ5 자기지도 데이터의 분포가 생성된 그림의 일반화 능력과 시각적 품질에 어떤 영향을 미치는가?

주요 결과

• 자기지도 학습과 강화학습을 융합한 프레임워크는 빈 칸에서 그림을 재현하는 Benchmark2에서 누적 보상 61.13을 기록하여, 강화학습 전용(26.33)과 자기지도 학습 전용(30.79)보다 유의미하게 뛰어난 성능을 보였다.
• 고해상도 이미지 재구성에서 LPaintB는 PaintBot [JFB*19]의 1920 대비 L₂ 손실 1485를 기록하여 더 높은 이미지 정밀도를 확보했다.
• GTX 1080 GPU에서 1000×800 해상도의 이미지에 대해 20,000개의 브러시 스트로크를 사용할 때 훈련 시간은 약 1시간, 추론 시간은 약 30초로 단축되었다.
• 학습 곡선 분석 결과, 자기지도 학습을 적용한 경우 더 빠른 수렴과 높은 성능가치를 보였으며, 샘플 효율성이 향상됨을 확인했다.
• 쌍화된 인간의 브러시 스트로크 데이터 없이도 시각적으로 매력적인 그림을 성공적으로 생성하였으며, 새로운 이미지에 대해 효과적인 제로샷 일반화를 입증했다.
• 다소 향상되었음에도 불구하고, 고대비 영역에서는 생성된 이미지가 다소 흐릿한 편이어서 보다 나은 보상 형성 또는 고해상도 감독이 필요함을 시사한다.