[논문 리뷰] Adversarial Colorization Of Icons Based On Structure And Color Conditions

Tsai-Ho Sun, Chien-Hsun Lai외 2명|arXiv (Cornell University)|2019. 10. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 6

한 줄 요약

이 논문은 구조적 조건과 색상 스타일 조건을 기반으로 아이콘에 대한 적대적 색상 조정을 위한 이중 조건 생성 적대 신경망(GAN)을 제안한다. 디자이너는 윤곽선 스케치를 제공하고, 시스템은 참조 아이콘을 사용해 색상 조정을 유도하여 기존 최고 수준의 방법들보다 뛰어난 시각적 품질과 구조적 충실도를 달성한다. 사용자 연구를 통해 인지적 품질 측면에서의 우수성이 확인되었다.

ABSTRACT

We present a system to help designers create icons that are widely used in banners, signboards, billboards, homepages, and mobile apps. Designers are tasked with drawing contours, whereas our system colorizes contours in different styles. This goal is achieved by training a dual conditional generative adversarial network (GAN) on our collected icon dataset. One condition requires the generated image and the drawn contour to possess a similar contour, while the other anticipates the image and the referenced icon to be similar in color style. Accordingly, the generator takes a contour image and a man-made icon image to colorize the contour, and then the discriminators determine whether the result fulfills the two conditions. The trained network is able to colorize icons demanded by designers and greatly reduces their workload. For the evaluation, we compared our dual conditional GAN to several state-of-the-art techniques. Experiment results demonstrate that our network is over the previous networks. Finally, we will provide the source code, icon dataset, and trained network for public use.

연구 동기 및 목표

• 디지털 인터페이스를 위한 시각적으로 일관된 아이콘을 제작하는 데 디자이너의 작업 부담을 줄이기 위해.
• 다양한 인위적인 참조 자료에서 구조적 윤곽선과 색상 스타일을 모두 충족하는 아이콘 생성의 과제를 해결하기 위해.
• 기존 GAN이 인위적 아이콘과 기계적으로 생성된 아이콘을 구분하는 데 어려움을 겪는 한계를 극복하기 위해.
• 직접 이미지 입력 대신 사용자가 지정한 스타일 레이블을 사용해 상호작용적이고 스타일 유도형 색상 조정을 가능하게 하기 위해.
• 구조 조건과 색상 조건을 분리하여 강화함으로써 아이콘 색상 조정의 시각적 정밀도와 일관성을 향상시키기 위해.

제안 방법

• 입력 윤곽선과 생성된 이미지 간의 구조적 유사성을 강제하는 디스크리미네이터와, 참조 아이콘과의 색상 분포 및 팔레트 유사성을 강제하는 디스크리미네이터를 갖춘 이중 조건 GAN 아키텍처.
• 생성자는 윤곽선 이미지와 참조 아이콘 이미지를 입력으로 받아, 두 조건을 모두 만족하는 색상 조정된 아이콘을 생성한다.
• 구조 조건은 생성된 이미지와 입력 윤곽선 간의 형태 일치성을 비교하는 디스크리미네이터를 통해 강제된다.
• 색상 스타일 조건은 생성된 이미지와 참조 아이콘 간의 색상 분포 및 팔레트 유사성을 비교하는 디스크리미네이터를 통해 강제된다.
• 스타일 레이블 인터페이스를 통해 사용자가 원하는 미적 스타일을 선택할 수 있으며, 시스템은 이를 바탕으로 정제된 데이터셋에서 일치하는 참조 아이콘을 검색한다.
• 학습 과정은 적대적 손실과 인지적 손실을 사용하여 구조적 및 색상 기반의 현실감을 최적화한다.

실험 결과

연구 질문

• RQ1 이중 조건 GAN이 아이콘 색상 조정에서 구조적 조건과 색상 스타일 조건을 효과적으로 분리하고 강제할 수 있는가?
• RQ2 기존 최고 수준의 이미지-이미지 번역 모델과 비교해 본다면, 제안된 방법이 윤곽선 구조와 색상 스타일을 얼마나 잘 유지하는가?
• RQ3 사용자가 지정한 스타일 레이블이 참조 아이콘 선택을 효과적으로 유도하여 사용성과 일관성을 향상시킬 수 있는가?
• RQ4 시스템이 시각적 품질을 유지하면서 디자이너의 작업 부담을 얼마나 줄일 수 있는가?
• RQ5 구조적 조건와 색상 조건 간에 갈등이 발생할 경우, 시스템의 실패 모드는 어떠한가?

주요 결과

• 92명의 참가자가 참여한 주관적 평가에서 본 방법은 평균 사용자 평점 3.65(SD = 1.12)를 기록하여 모든 기준 방법들보다 유의미하게 높게 평가되었다(p < 0.01).
• 생성된 아이콘과 입력 윤곽선 간의 윤곽선 거리가 모든 방법들 중에서 가장 낮아, 구조적 보존 측면에서 뛰어난 성능을 보였다.
• 참조 아이콘과의 색상 거리가 최소화되어 강력한 색상 스타일 일치를 보였다.
• CycleGAN, MUNIT, iGAN과 비교해 본 결과, 특히 복잡한 영역에서 더 정확하고 세밀한 색상 조정을 생성하였다.
• 실패 케이스 분석을 통해 의미론적 일관성 문제(예: 사과를 파란색으로 색칠하는 것)와 입력 복잡도가 윤곽선과 참조 아이콘 간에 다를 경우 발생하는 갈등 문제를 확인하였다.
• 시스템은 높은 정밀도를 유지하면서도 색상 조정을 자동화함으로써 디자이너의 작업 부담을 성공적으로 줄였다.