[논문 리뷰] Conditional Image Generation and Manipulation for User-Specified Content

David Stap, Maurits Bleeker외 2명|arXiv (Cornell University)|2020. 05. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 5

한 줄 요약

이 논문은 텍스트 기반 기술 설명에 따라 고해상도 얼굴 이미지를 생성하고 세밀한 편집을 가능하게 하는 새로운 모델 textStyleGAN을 제안한다. 이 모델은 텍스트 기반 조건부 생성과 잠재 공간 내 학습된 방향을 통한 세분화된 편집을 통합한 유일한 파이프라인을 제공한다. 주요 기여는 CelebTD-HQ 데이터셋과 사용자가 자신의 상상 속 이미지에 가까워지도록 반복적으로 이미지를 보정할 수 있는 방법으로, 법의학 스케치나 스톡 포토그래피와 같은 응용 분야에서 실용적인 콘텐츠 제작을 크게 향상시킨다.

ABSTRACT

In recent years, Generative Adversarial Networks (GANs) have improved steadily towards generating increasingly impressive real-world images. It is useful to steer the image generation process for purposes such as content creation. This can be done by conditioning the model on additional information. However, when conditioning on additional information, there still exists a large set of images that agree with a particular conditioning. This makes it unlikely that the generated image is exactly as envisioned by a user, which is problematic for practical content creation scenarios such as generating facial composites or stock photos. To solve this problem, we propose a single pipeline for text-to-image generation and manipulation. In the first part of our pipeline we introduce textStyleGAN, a model that is conditioned on text. In the second part of our pipeline we make use of the pre-trained weights of textStyleGAN to perform semantic facial image manipulation. The approach works by finding semantic directions in latent space. We show that this method can be used to manipulate facial images for a wide range of attributes. Finally, we introduce the CelebTD-HQ dataset, an extension to CelebA-HQ, consisting of faces and corresponding textual descriptions.

연구 동기 및 목표

• 단일 텍스트 기술 설명에 대해 여러 이미지가 만족할 수 있는 조건부 이미지 생성의 격차를 해결하여 사용자 의도를 정확히 반영하는 데 어려움이 있음을 해결한다.
• 사용자가 생성된 이미지를 반복적으로 보정하여 자신의 상상 속 출력에 더 가깝게 만들 수 있도록 함으로써 실용적인 콘텐츠 제작을 가능하게 한다.
• 텍스트 기반 이미지 생성과 후처리 단계에서의 의미론적 편집을 통합한 유일한 파이프라인을 개발한다.
• 세부적인 자연어 기술 설명이 수반된 고해상도 얼굴 이미지 10,000장을 포함한 새로운 데이터셋인 CelebTD-HQ를 구축하여 세분화된 이미지 생성 및 편집을 지원한다.
• 사전 훈련된 textStyleGAN 가중치가 재훈련 없이도 의미론적 얼굴 특성 편집에 효과적으로 활용될 수 있음을 입증한다. 이는 현실감을 유지하면서도 특정 속성을 편집할 수 있다.

제안 방법

• 텍스트 임bedding에 조건부로 작동하는 GAN 기반 모델인 textStyleGAN을 제안하며, CelebTD-HQ 데이터셋을 기반으로 고해상도 얼굴 이미지를 생성하도록 훈련한다.
• 텍스트와 이미지 특징를 정렬하기 위해 교차 어텐션 메커니즘과 조건부 배치 정규화를 적용한 수정된 StyleGAN 아키텍처를 사용한다.
• 세분화된 일致성 향상을 위해 적대적 손실, 인지적 손실, 그리고 교차 모odal 유사도 손실의 조합을 사용하여 모델을 훈련한다.
• 실제 이미지에 대한 샘플 분류 방법을 활용해 잠재 공간 내 분리된 방향을 식별하고, 이를 통해 의미론적 편집을 수행한다.
• 실제 이미지 250장에 대해 고형물(예: 원형 패턴) 존재 여부를 식별하는 이진 분류기를 훈련한 후, 해당 방향을 이용해 생성된 이미지에서 고형물을 제거한다.
• 사전 훈련된 textStyleGAN 가중치를 활용하여 재훈련 없이도 성별, 연령, 표정 등의 얼굴 속성을 제로샷(Zero-shot)으로 의미론적으로 편집할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 사용자가 지정한 콘텐츠를 위해 텍스트 기반 이미지 생성과 의미론적 얼굴 편집을 효과적으로 통합한 단일 파이프라인이 가능한가?
• RQ2 텍스트 기반 이미지 생성 모델이 세분화된 텍스트 기술 설명에 부합하는 고해상도 얼굴 이미지를 얼마나 잘 생성할 수 있는가?
• RQ3 사전 훈련된 모델 내에서 학습된 잠재 공간 방향이 얼굴 속성의 분리성과 현실감을 유지하면서 얼마나 효과적으로 편집할 수 있는가?
• RQ4 잠재 공간 편집을 통해 스타일 제너레이터에서 유래한 고형물(예: 원형 패턴)을 탐지하고 제거할 수 있는가?
• RQ5 기존 벤치마크와 비교해 볼 때, CelebTD-HQ 데이터셋이 고품질의 기술적 설명이 수반된 이미지 생성 및 편집을 얼마나 잘 지원하는가?

주요 결과

• textStyleGAN은 텍스트 기반 이미지 생성에서 대부분의 지표에서 최신 기술 수준을 달성하며, CelebA-HQ에서 FID 점수 15.7, CUB에서 17.2를 기록하여 이전 모델들을 능가한다.
• 모델은 강력한 의미론적 일致성을 유지하면서 고해상도 이미지(256x256)를 생성한다. 이는 속성 분류 점수를 통해 검증되었으며, 예를 들어 '미소 짓고 있는' 속성에 대해 0.93, '젊은' 속성에 대해 0.90의 점수를 기록했다.
• 학습된 잠재 공간 방향을 통한 편집이 성별, 연령, 표정 등의 얼굴 속성을 유지하면서도 정체성과 현실감을 보존하는 방식으로 성공적으로 수행된다.
• 실제로 생성된 이미지에서 원형 고형물을 식별하고 잠재 공간 내 고형물 전용 방향을 빼내어 효과적으로 제거하는 데 성공했다.
• 10,000장의 얼굴 이미지와 완전한 텍스트 기술 설명을 포함한 CelebTD-HQ 데이터셋은 고품질의 텍스트 기반 이미지 합성과 후속 편집 작업을 지원한다.
• 인지 경로 길이 점수는 textStyleGAN이 높은 이미지 품질과 분리성을 유지하고 있음을 보여주며, 조건부 어텐션을 사용할 경우 점수 200.1을 기록하여 기준 모델인 StyleGAN(200.5)과 유사한 성능을 보였다.