[논문 리뷰] Unsupervised Doodling and Painting with Improved SPIRAL

John F. J. Mellor, Eunbyung Park외 8명|arXiv (Cornell University)|2019. 10. 02.

Aesthetic Perception and Analysis참고 문헌 43인용 수 24

한 줄 요약

이 논문은 시뮬레이션 환경에서 비지도, 브러시 기반 페인팅을 통해 이미지를 생성하도록 훈련하는 강화학습 프레임워크인 SPIRAL++을 제안한다. 정책 네트워크와 판별기 네트워크를 함께 훈련시킴으로써, 에이전트는 감독 없이도 시각적으로 추상적이고 현실적인 이미지—예를 들어 최소한의 브러시 스트로크로 얼굴를 구현하는 것—을 학습하게 되며, 신체적 시뮬레이션을 통해 탄생하는 잠재적 시각적 추상화를 보여준다.

ABSTRACT

We investigate using reinforcement learning agents as generative models of images (extending arXiv:1804.01118). A generative agent controls a simulated painting environment, and is trained with rewards provided by a discriminator network simultaneously trained to assess the realism of the agent's samples, either unconditional or reconstructions. Compared to prior work, we make a number of improvements to the architectures of the agents and discriminators that lead to intriguing and at times surprising results. We find that when sufficiently constrained, generative agents can learn to produce images with a degree of visual abstraction, despite having only ever seen real photographs (no human brush strokes). And given enough time with the painting environment, they can produce images with considerable realism. These results show that, under the right circumstances, some aspects of human drawing can emerge from simulated embodiment, without the need for external supervision, imitation or social cues. Finally, we note the framework's potential for use in creative applications.

연구 동기 및 목표

• 강화학습 에이전트가 인간의 그림을 볼 수 없이, 시뮬레이션 환경에서 비지도, 브러시 기반 페인팅을 통해 현실적이고 추상적인 이미지를 생성할 수 있는지 조사하는 것.
• 에이전트가 명시적인 지도나 모방 없이도 인간의 드로잉이나 스케치와 유사한 시각적 추상화가 몸체적 시뮬레이션을 통해 탄생할 수 있는지 탐색하는 것.
• 이미지의 선명도와 현실감을 향상시키기 위해 아키텍처를 확장하고 튜닝함으로써 원래의 SPIRAL 프레임워크를 개선하는 것.
• 환경의 구조(예: 브러시 물리학, 유한한 에피소드 길이)가 생성 에이전트의 추상화와 현실감을 어떻게 영향을 주는지 평가하는 것.
• 새로운 미적 스타일 생성 및 재구성 작업과 같은 창의적 응용 분야에서 이 프레임워크의 잠재력을 평가하는 것.

제안 방법

• 프레임워크는 현재 캔버스 상태를 기반으로 각 단계에서 브러시 스트로크 매개변수(색상, 크기, 압력)를 선택하는 정책 네트워크(에이전트)를 사용한다.
• 가분리 렌더러는 각 스트로크 명령에 반응하여 캔버스 업데이트를 시뮬레이션하며, 페인팅 과정의 물리적 현실감을 보장한다.
• 판별기 네트워크는 실제 이미지와 생성된 이미지를 구별하도록 적대적으로 훈련되며, 정책 훈련을 위한 보상 신호를 제공한다.
• 정책과 판별기는 강화학습을 통해 함께 훈련되며, 에이전트는 판별기가 평가하는 현실감을 최적화하기 위해 노력한다.
• 아키텍처 개선 사항으로는 더 나은 정규화, 잔차 연결, 훈련 정규화가 포함되어 안정성과 성능을 향상시킨다.
• 훈련 과정은 유한한 수평선을 기반으로 하며, 각 이미지당 스트로크 수를 제한함으로써 추상화와 효율성을 장려한다.

실험 결과

연구 질문

• RQ1 비지도 강화학습 에이전트가 인간의 그림에 접근할 수 없이, 시뮬레이션된 페인팅을 통해 현실적이고 추상적인 이미지를 생성할 수 있는가?
• RQ2 에이전트가 명시적인 지도 없이 몸체적 에이전트에서 얼마나 많은 시각적 추상화—예를 들어 몇 번의 스트로크로 얼굴를 표현하는 것—이 탄생할 수 있는가?
• RQ3 환경의 구조(예: 브러시 물리학, 유한한 에피소드 길이)가 추상화와 현실감의 탄생에 어떤 영향을 미치는가?
• RQ4 판별기가 픽셀 수준의 유사성보다 의미론적 유사성을 우선시할 수 있는가? 이는 고차원적 시각적 이해의 발달을 시사하는가?
• RQ5 SPIRAL 프레임워크의 확장과 아키텍처 개선이 이전 연구 대비 이미지 품질과 다양성에 뚜렷한 향상을 이끌어내는가?

주요 결과

• SPIRAL++로 훈련된 생성 에이전트는 매우 높은 수준의 시각적 추상화를 보이며, 눈, 코, 입 각각을 나타내는 브러시 스트로크 3~4개로도 식별 가능한 얼굴를 그릴 수 있다.
• 인간의 그림을 한 번도 보지 못한 에이전트이지만, 다양한 예술 스타일을 학습하며 놀라운 창의성과 미학적으로 새로운 구성도 만들어내는 것으로 나타났다.
• qualitative 분석과 아블레이션 연구를 통해 원래의 SPIRAL 대비 이미지의 현실감과 선명도에서 뚜렷한 향상을 달성했다.
• 판별기는 픽셀 수준의 유사성보다 의미론적 구조에 기반해 현실감을 평가하는 것을 학습했으며, 이는 고차원적 시각적 추론의 탄생을 시사한다.
• 충분한 훈련 시간과 에피소드 길이가 주어지면, 에이전트는 복잡하고 현실적인 이미지를 생성하며 사진 수준의 질에 도달한다.
• 결과적으로, 시각적 추상화와 현실감이 감독 없이, 모방 없이, 사회적 신호 없이도 환경적 제약과 적대적 훈련에 의존하여 몸체적 시뮬레이션을 통해 탄생할 수 있음을 입증한다.