[논문 리뷰] RoboCoDraw: Robotic Avatar Drawing with GAN-based Style Transfer and Time-efficient Path Optimization

Tianying Wang, Wei Qi Toh외 5명|arXiv (Cornell University)|2019. 12. 11.

Advanced Vision and Imaging참고 문헌 22인용 수 5

한 줄 요약

RoboCoDraw는 GAN 기반 스타일 전이 방법(AvatarGAN)을 사용해 실제 인간 얼굴에서 개인화된 만화 캐릭터를 생성하고, 무작위 열쇠 유전 알고리즘(RKGA)을 통해 2-opt 및 Lin-Kernighan 국소 탐색 휴리스틱을 적용해 로봇 그림 경로를 최적화하는 실시간 로봇 그림 제작 시스템이다. 이 시스템은 기준 탐욕적 경로 계획 대비 평균 17.34%의 그림 시간 감소를 달성하여 높은 유사도와 미적 품질을 갖춘 효율적이고 상호작용 가능한 로봇 예술 창작을 가능하게 한다.

ABSTRACT

Robotic drawing has become increasingly popular as an entertainment and interactive tool. In this paper we present RoboCoDraw, a real-time collaborative robot-based drawing system that draws stylized human face sketches interactively in front of human users, by using the Generative Adversarial Network (GAN)-based style transfer and a Random-Key Genetic Algorithm (RKGA)-based path optimization. The proposed RoboCoDraw system takes a real human face image as input, converts it to a stylized avatar, then draws it with a robotic arm. A core component in this system is the Avatar-GAN proposed by us, which generates a cartoon avatar face image from a real human face. AvatarGAN is trained with unpaired face and avatar images only and can generate avatar images of much better likeness with human face images in comparison with the vanilla CycleGAN. After the avatar image is generated, it is fed to a line extraction algorithm and converted to sketches. An RKGA-based path optimization algorithm is applied to find a time-efficient robotic drawing path to be executed by the robotic arm. We demonstrate the capability of RoboCoDraw on various face images using a lightweight, safe collaborative robot UR5.

연구 동기 및 목표

• 실시간으로 상호작용 가능한 로봇 그림 제작 시스템을 개발하여 실제 인간 얼굴을 엔터테인먼트용 스타일링된 만화 캐릭터로 변환한다.
• 생성된 캐릭터에 얼굴 윤곽, 눈 모양, 헤어스타일 등의 얼굴 특징을 유지하여 입력 얼굴과의 유사도를 높인다.
• 로봇 그림 경로를 최적화하여 시간 효율성을 확보하고, 스케치 품질을 유지하면서 물리적 그림 시간을 최소화한다.
• 학습 과정에서 수동 레이블링이나 얼굴 랜드마크 표기의 필요성을 제거한다.
• 경량 공동 작업 로봇(UR5)과 맞춤형 마커 홀더를 통합하여 불규칙한 표면에서도 안정적이고 일관된 압력을 유지한다.

제안 방법

• 쌍방향 CycleGAN 변형인 AvatarGAN을 제안하여, 쌍이 맞지 않는 실제 얼굴 이미지와 만화 캐릭터 이미지를 기반으로 훈련하여, 쌍이 맞는 데이터 없이도 높은 유사도의 캐릭터를 생성한다.
• 생성된 만화 캐릭터를 로봇 그림에 적합한 스케치 표현으로 변환하기 위해 선 추출 알고리즘을 적용한다.
• 2-opt 및 Lin-Kernighan 국소 개선 휴리스틱을 갖춘 두 단계의 휴리스틱을 적용한 무작위 열쇠 유전 알고리즘(RKGA)을 사용해 그림 경로 점의 순서를 최적화한다.
• 균일한 교차 전략을 사용하며, 첫 번째 부모에서 선택할 확률은 0.7이며, 교차 전에 부모의 순서를 뒤집을 확률은 0.5이다.
• 변이를 위해 키의 소수 부분을 0.05의 확률로 랜덤으로 재배열하고, 정수 부분을 0.05의 확률로 뒤집는다.
• UR5 로봇 암과 스프링 장착 마커 홀더를 통합하여 불규칙한 화이트보드 표면에서도 일관된 압력을 유지한다.

실험 결과

연구 질문

• RQ1 쌍이 맞지 않는 훈련 데이터 없이도 GAN 기반 스타일 전이 방법이 실제 인간 얼굴과 유사한 만화 캐릭터를 생성할 수 있는가?
• RQ2 제안된 RKGA 기반 경로 최적화 방법이 기준 탐욕적 방법 대비 로봇 그림 시간을 얼마나 효과적으로 줄이는가?
• RQ3 공개 환경에서 공동 작업 로봇을 활용해 실시간으로 상호작용하는 개인화된 캐릭터를 그릴 수 있는가?
• RQ4 AvatarGAN과 경로 최적화의 통합이 로봇 그림의 총 사용자 경험에 얼마나 기여하는가?
• RQ5 다양한 복잡도, 예를 들어 한 번의 작업에서 여러 캐릭터를 그릴 경우 시스템의 성능은 어떠한가?

주요 결과

• AvatarGAN은 기본 CycleGAN 및 CariGANs보다 얼굴 특징을 더 잘 유지하여 입력 얼굴과의 유사도가 높은 캐릭터를 생성한다.
• 2-opt 및 Lin-Kernighan 휴리스틱을 적용한 RKGA는 탐욕적 기준 대비 평균 17.34%의 경로 적합도 향상을 달성하여 그림 시간을 감소시켰다.
• 20회의 통합 시험을 완료한 결과 평균 그림 시간은 43.2초, 총 전처리 시간은 9.9초로 실시간 상호작용을 가능하게 했다.
• 다섯 개의 복잡한 캐릭터 그룹(각각 평균 74개의 선으로 구성)에 대해 경로 최적화 방법은 일관된 성능을 보였다.
• 스프링 장착 마커 홀더는 Z축 오차를 효과적으로 보완하여 불규칙한 표면에서도 일관된 압력과 안정적인 선 품질을 유지했다.
• 시스템은 캐릭터 스케치에서 아름다운 라인 아트 스타일의 그림을 성공적으로 생성하여 픽셀 색조 복제 방식 대비 시각적 매력도를 향상시켰다.