[논문 리뷰] Learning to Sketch with Deep Q Networks and Demonstrated Strokes

Tao Zhou, Fang Chen외 6명|arXiv (Cornell University)|2018. 10. 14.

Human Pose and Action Recognition참고 문헌 20인용 수 22

한 줄 요약

이 논문은 두 단계의 딥 강화학습 프레임워크인 Doodle-SDQ를 제안한다. 첫 번째 단계에서는 인간의 스트로크 시연를 통해 지도학습을 통해 스트로크를 모방하고, 두 번째 단계에서는 보상 기반 피드백을 통한 딥 Q-학습을 통해 성능을 개선한다. 이 방법은 다양한 미디어 유형에서 다채롭고 현실적인 그림을 성공적으로 생성하며, 사전 훈련이 복잡하고 고차원적인 행동 공간에서 최종 성능을 크게 향상시킨다.

ABSTRACT

Doodling is a useful and common intelligent skill that people can learn and master. In this work, we propose a two-stage learning framework to teach a machine to doodle in a simulated painting environment via Stroke Demonstration and deep Q-learning (SDQ). The developed system, Doodle-SDQ, generates a sequence of pen actions to reproduce a reference drawing and mimics the behavior of human painters. In the first stage, it learns to draw simple strokes by imitating in supervised fashion from a set of strokeaction pairs collected from artist paintings. In the second stage, it is challenged to draw real and more complex doodles without ground truth actions; thus, it is trained with Qlearning. Our experiments confirm that (1) doodling can be learned without direct stepby- step action supervision and (2) pretraining with stroke demonstration via supervised learning is important to improve performance. We further show that Doodle-SDQ is effective at producing plausible drawings in different media types, including sketch and watercolor.

연구 동기 및 목표

• 인공 에이전트가 시뮬레이션된 페인팅 환경에서 인간의 드로잉 행동을 모방할 수 있도록 기계학습 프레임워크를 개발하는 것.
• 예술적 생성에서 레이블이 부여된 행동 데이터의 부족 문제를 해결하기 위해 지도학습과 강화학습을 융합한 하이브리드 학습 접근법을 사용하는 것.
• 랜덤 탐색이 효과적이지 않은 드로잉 작업에서 일반적으로 나타나는 고차원 행동 공간에서의 샘플 효율성과 훈련 안정성을 향상시키는 것.
• 특정 작업에 맞게 재훈련 없이도 예측할 수 없는 드로잉과 스케치, 아크릴 물감 등의 다양한 미디어 유형으로 일반화할 수 있도록 하는 것.
• 복잡한 드로잉 환경에서 성공적인 강화학습을 위해 스트로크 수준의 시연를 통한 사전 훈련이 필수적임을 입증하는 것.

제안 방법

• 프레임워크는 두 단계 훈련 과정을 사용한다: 첫 번째 단계는 인간 예술가들이 수집한 레이블이 부여된 스트로크-행동 쌍을 사용하여 간단한 스트로크를 재현하도록 에이전트가 학습하는 지도학습 모방 단계이다.
• 두 번째 단계에서는 사전 훈련된 에이전트를 L2 유사도 기반의 조밀한 보상 신호를 사용하여 딥 Q-학습을 통해 미세조정한다. 이 보상 신호는 현재 캔버스와 기준 그림 간의 유사도를 기반으로 한다.
• 행동 공간은 펜 상태(내림/올림), 펜 위치, 색상으로 구성되며, 각 단계에서 약 200개의 이산 행동으로 이루어진다.
• 큰 행동 공간에서의 훈련 안정성을 위해 탐색 확률을 낮추고, 전역 스트림(전체 캔버스의 맥락을 다룸)과 국소 스트림(펜의 즉각적인 주변에 집중)으로 구성된 이중 스트림 컨볼루션 네트워크를 도입하여 정밀도를 향상시킨다.
• 샘플 효율성을 향상시키기 위해 경험 재생과 우선순위 경험 재생(PER)을 사용하며, 사전 훈련 단계에서의 가중치 초기화가 수렴을 개선한다.
• 시스템은 블랙앤화이트 스케치, 컬러 스케치, 아크릴 물감 등을 포함한 여러 미디어 유형을 지원하는 시뮬레이션 페인팅 환경(SPE)에서 평가된다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 단계별 행동 감독 없이도 복잡한 드로잉을 재현할 수 있는가?
• RQ2 스트로크 수준의 시범을 통한 사전 훈련이 드로잉 작업의 후속 강화학습 성능에 얼마나 기여하는가?
• RQ3 제안된 이중 스트림 아키텍처는 고차원 행동 공간에서 훈련 안정성과 정밀도 향상에 얼마나 효과적인가?
• RQ4 지도학습 모방과 Q-학습의 융합된 접근법이 예측할 수 없는 드로잉과 다양한 미디어 유형으로 일반화되는가?
• RQ5 행동 공간이 크고 복잡할 경우 탐색 확률을 줄이는 것이 훈련 안정성에 어떤 역할을 하는가?

주요 결과

• 스트로크 시범을 통한 사전 훈련은 강화학습 단계에서 최종 성능을 크게 향상시키며, 최고의 성능을 보인 모델은 QuickDraw 데이터셋에서 평균 누적 보상 320.5를 기록했다.
• 희귀 탐색과 사전 훈련 단계에서의 가중치 초기화를 적용한 모델은 QuickDraw 데이터에 직접 미세조정한 모든 베이스라인을 능가하며, 이는 이중 단계 접근법의 유용성을 확인한다.
• 고탐색 비율을 가진 단순 DQN은 큰 행동 공간에서 수렴하지 못하지만, 사전 훈련 후 탐색을 제거하면 성능이 급격히 향상되며, 이는 이 설정에서는 랜덤 탐색이 오히려 해로운 것으로 나타났다.
• 이중 스트림 아키텍처—특히 펜의 즉각적인 주변에 집중하는 국소 스트림—은 성공적인 훈련에 필수적이며, 이 스트림을 제거하면 사전 훈련과 탐색 감소 조건이 있더라도 실패한다.
• 예측할 수 없는 드로잉과 다양한 미디어 유형으로 일반화가 잘 되어 있으며, 재훈련 없이도 현실적인 스케치와 아크릴 물감 렌더링을 성공적으로 생성한다.
• 스케치에서 컬러 스케치로의 전환 시 평균 누적 보상이 감소하는 것으로 나타나, 행동 공간의 차원 증가 문제는 여전히 도전 과제이며, 향후 연속적인 행동(예: 압력, 다중 색상)으로의 확장에 있어 여전히 과제로 남아 있다.