[논문 리뷰] Unsupervised Sketch-to-Photo Synthesis

Runtao Liu, Qian Yu외 1명|arXiv (Cornell University)|2019. 09. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 5

한 줄 요약

이 논문은 쌍이 없는 데이터에서 비지도 학습을 통해 스케치에서 사진으로의 변환을 구현하는 최초의 이단계적 스케치-사진 합성 모델을 제안한다. 이 모델은 작업을 형태 번역(스케치 → 회색조 사진)과 콘텐츠 강화(회색조 → 색상 사진)로 분해하며, 스케치의 추상화와 스타일 변동성을 다루기 위해 자기지도 학습 기반 노이즈 제거와 주의 메커니즘을 사용한다. 이 방법은 쌍이 없는 데이터에서 고해상도, 다양한, 사진처럼 현실적인 결과를 도출하며, 표준 에지맵을 초월해 인간의 시각 인지에 부합하는 의미 있는 스케치를 사진으로부터 생성할 수 있다는 핵심 결과를 얻는다.

ABSTRACT

Humans can envision a realistic photo given a free-hand sketch that is not only spatially imprecise and geometrically distorted but also without colors and visual details. We study unsupervised sketch-to-photo synthesis for the first time, learning from unpaired sketch-photo data where the target photo for a sketch is unknown during training. Existing works only deal with style change or spatial deformation alone, synthesizing photos from edge-aligned line drawings or transforming shapes within the same modality, e.g., color images. Our key insight is to decompose unsupervised sketch-to-photo synthesis into a two-stage translation task: First shape translation from sketches to grayscale photos and then content enrichment from grayscale to color photos. We also incorporate a self-supervised denoising objective and an attention module to handle abstraction and style variations that are inherent and specific to sketches. Our synthesis is sketch-faithful and photo-realistic to enable sketch-based image retrieval in practice. An exciting corollary product is a universal and promising sketch generator that captures human visual perception beyond the edge map of a photo.

연구 동기 및 목표

• 자신의 손으로 그린 스케치에서 쌍이 없는 훈련 데이터를 사용하여 현실적이고 다양한 사진을 생성하는 문제를 해결하기 위해.
• 스케치에서의 공간적 변형과 색상/텍스처 세부 정보의 부족이라는 이중적인 과제를 극복하기 위해.
• 스케치와 사진 간의 직접적이고 이중적인 매핑을 학습하여 스케치 기반 이미지 검색을 가능하게 하기 위해.
• 기존의 에지맵을 초월해 인간의 시각 인지에 부합하는 요소를 포괄하는 통합 스케치 생성기를 개발하기 위해.

제안 방법

• 스케치-사진 합성을 두 단계로 분해한다: 첫 번째로 스케치를 회색조 사진으로 번역(형태 번역), 두 번째로 색상과 텍스처를 강화한다(콘텐츠 강화).
• 스케치의 추상화와 스타일 변동성에 대비해 합성 노이즈 스케치 조합에 자기지도 학습 기반 노이즈 제거 목표를 적용하여 모델의 강건성을 향상시킨다.
• 번역 과정에서 관련된 구조에 집중하고 불필요한 간섭 요소를 무시하도록 주의 모듈을 통합한다.
• 혼합 훈련 전략을 활용하여 콘텐츠 강화 네트워크가 기준 이미지가 없이도 작동할 수 있도록 하여 다양한 합성 출력을 가능하게 한다.
• 양방향 아키텍처를 활용하여 형태 번역 네트워크가 사진에서 스케치를 생성할 수 있도록 하여 도메인 간 검색을 가능하게 한다.
• 쌍이 없는 스케치 및 사진 데이터셋만을 사용하여 훈련함으로써 스케치-사진 쌍이 필요한 것을 방지한다.

실험 결과

연구 질문

• RQ1 스케치와 사진이 쌍이 없고 공간적·스타일적 변동성이 높을 때 비지도 스케치-사진 합성을 효과적으로 달성할 수 있는가?
• RQ2 형태 번역과 콘텐츠 강화 단계로 작업을 분해하면 종단간 접근 방식에 비해 정확도와 현실감이 향상되는가?
• RQ3 자기지도 학습 기반 노이즈 제거 목표가 스케치의 추상화와 그림 스타일의 변동성에 대비해 강건성을 향상시킬 수 있는가?
• RQ4 인퍼런스 시 기준 이미지가 필요 없이도 다양한, 사진처럼 현실적인 출력을 생성할 수 있는가?
• RQ5 학습된 모델이 표준 에지맵을 초월해 인간의 시각 인지에 부합하는 중요한 윤곽선을 반영하는 통합 스케치 생성기로 기능할 수 있는가?

주요 결과

• 제안된 이단계 비지도 모델은 쌍이 없는 에지-사진 방법(예: cycleGAN, UGATIT)과 쌍이 있는 방법(예: Pix2Pix)을 모두 초월하며, 후자조차도 쌍이 있는 데이터로 훈련된 경우에도 성능이 떨어진다.
• 스케치 기반 이미지 검색에서 상위 5개 정확도 37.2%, 상위 20개 정확도 65.2%를 기록하여, 스케치-에지맵 매핑을 사용하는 기준 방법(34.5% 및 57.7%)을 뛰어넘는다.
• 모델은 다양한 데이터셋 간에 잘 일반화되어 있으며, ShoeV2와 관련 없는 pos50K 데이터셋 모두에서 유사한 성능을 기록함으로써 도메인 이동에 대한 강건성을 입증한다.
• 사진에서 스케치 생성 기능은 인간의 스케치 스타일을 잘 모방하는 손그림 같은 스케치를 생성하며, Canny와 HED를 능가한다.
• 모델이 생성하는 스케치는 단순한 에지맵을 넘어서 인간의 시각 인지에 부합하는 내부 마킹과 구조적 강조를 반영하며, 밝기 대비를 넘어서는 요소를 포괄한다.
• 모델의 양방향 특성 덕분에 쿼리와 갤러리가 모두 동일한 도메인(스케치 또는 사진)으로 매핑되어 검색 파이프라인을 단순화할 수 있다.