[논문 리뷰] Cali-Sketch: Stroke Calibration and Completion for High-Quality Face Image Generation from Poorly-Drawn Sketches

Weihao Xia, Yujiu Yang외 1명|arXiv (Cornell University)|2019. 11. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 64인용 수 11

한 줄 요약

Cali-Sketch는 스케치의 선 조절과 이미지 합성으로 복잡한 이미지 간 번역 작업을 분리하여, 부정확하게 그려진 스케치에서 사진 수준의 얼굴 이미지를 생성하기 위한 이단계적 방법을 제안한다. 선 조절 네트워크(Stroke Calibration Network, SCN)는 의도를 유지하면서도 선의 기하학적 구조를 보정하고 세부 정보를 풍부하게 하며, 이후 이미지 합성 네트워크(Image Synthesis Network, ISN)가 고해상도 사진을 생성한다. 이는 기존 최고 수준의 방법들보다 현실성과 충실도 면에서 뛰어나다.

ABSTRACT

Image generation task has received increasing attention because of its wide application in security and entertainment. Sketch-based face generation brings more fun and better quality of image generation due to supervised interaction. However, When a sketch poorly aligned with the true face is given as input, existing supervised image-to-image translation methods often cannot generate acceptable photo-realistic face images. To address this problem, in this paper we propose Cali-Sketch, a poorly-drawn-sketch to photo-realistic-image generation method. Cali-Sketch explicitly models stroke calibration and image generation using two constituent networks: a Stroke Calibration Network (SCN), which calibrates strokes of facial features and enriches facial details while preserving the original intent features; and an Image Synthesis Network (ISN), which translates the calibrated and enriched sketches to photo-realistic face images. In this way, we manage to decouple a difficult cross-domain translation problem into two easier steps. Extensive experiments verify that the face photos generated by Cali-Sketch are both photo-realistic and faithful to the input sketches, compared with state-of-the-art methods

연구 동기 및 목표

• 부정확하고 기울어진 스케치에서 사진 수준의 얼굴 이미지를 생성하는 문제를 해결하기 위해.
• 입력 스케치가 실제 얼굴 구조와 크게 다를 경우 이미지 품질과 충실도를 향상시키기 위해.
• 복잡한 이미지 간 번역 작업을 두 가지 관리 가능한 단계로 분리하기 위해: 선 조절과 이미지 합성.
• 얼굴의 세부 정보와 정렬을 향상시키면서도 원본 스케치의 의도를 유지하기 위해.

제안 방법

• 부정확하게 그려진 스케치에서 기울어진 선을 수정하고 얼굴 세부 정보를 풍부하게 하기 위해 선 조절 네트워크(Stroke Calibration Network, SCN)를 도입한다.
• SCN은 스케치의 구조적 의도를 유지하면서도 선의 기하학적 구조를 보정하고 세밀한 얼굴 특징을 추가한다.
• 이미지 합성 네트워크(Image Synthesis Network, ISN)는 보정된 스케치를 사진 수준의 얼굴 이미지로 변환한다.
• 두 네트워크는 순차적으로 훈련되며, ISN이 최종 이미지를 생성하기 전에 SCN이 입력 스케치를 보정한다.
• 어려운 도메인 간 번역 작업을 두 가지 더 쉽게 할 수 있는 하위 작업으로 분리함으로써 훈련의 안정성과 출력 품질을 향상시킨다.
• 이 프레임워크는 생성된 이미지와 원본 스케치의 의도된 얼굴 구조 간의 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 선 조절 단계는 생성 전에 낮은 품질의 스케치에서 얼굴 특징의 품질을 향상시키는 데 효과적인가?
• RQ2 이중 네트워크 아키텍처는 종단 간 방법과 비교해 사진 수준의 현실성과 충실도를 얼마나 효과적으로 향상시키는가?
• RQ3 원본 스케치의 의도를 유지하는 것이 생성된 얼굴 이미지의 현실성에 어느 정도 기여하는가?
• RQ4 선 조절을 이미지 합성과 분리하는 것이 통합 최적화보다 더 뛰어난 성능을 내는가?

주요 결과

• Cali-Sketch는 입력 스케치의 원래 의도를 충실히 반영하면서도 시각적으로 현실적인 얼굴 이미지를 생성한다.
• 선 조절 단계는 저품질 스케치에서 얼굴 특징의 정렬과 세부 정보 풍부함을 크게 향상시킨다.
• 이중 단계적 접근 방식은 부정확하게 그려진 입력에서 고해상도 얼굴 이미지를 생성하는 데 있어 기존 최고 수준의 방법들을 능가한다.
• 광범위한 실험을 통해 Cali-Sketch가 입력 스케치와의 구조적 일致성을 유지하면서도 현실적인 질감과 얼굴 세부 정보를 생성함을 확인했다.