[논문 리뷰] Editing in Style: Uncovering the Local Semantics of GANs

Edo Collins, Raja Bala외 2명|arXiv (Cornell University)|2020. 04. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 9

한 줄 요약

이 논문은 스타일 제너레이터의 스타일 벡터를 타겟 이미지의 특정 영역에 대해 조작함으로써 참조 이미지의 스타일 특징을 전이하는 간단한 비지도 학습 방법을 제안한다. 이 방법은 스타일 제너레이터의 잠재 공간에서 의미적 객체들이 분리되어 표현된다는 점을 활용하여 국소성과 사진처럼 사실적인 품질을 달성하며, 분할 마스크나 복잡한 공간 연산을 요구하지 않는다.

ABSTRACT

While the quality of GAN image synthesis has improved tremendously in recent years, our ability to control and condition the output is still limited. Focusing on StyleGAN, we introduce a simple and effective method for making local, semantically-aware edits to a target output image. This is accomplished by borrowing elements from a source image, also a GAN output, via a novel manipulation of style vectors. Our method requires neither supervision from an external model, nor involves complex spatial morphing operations. Instead, it relies on the emergent disentanglement of semantic objects that is learned by StyleGAN during its training. Semantic editing is demonstrated on GANs producing human faces, indoor scenes, cats, and cars. We measure the locality and photorealism of the edits produced by our method, and find that it accomplishes both.

연구 동기 및 목표

• 스타일 제너레이터의 잠재 공간에서 의미적 객체와 부분이 공간적으로 분리된 표현을 학습하는지 조사하기 위해
• 사전 학습된 모델만을 사용하여 스타일 제너레이터 생성 이미지에 대한 간단한 비지도 학습 편집 방법 개발을 위해
• 눈, 입, 가구 등 이미지 부분을 참조 이미지에서 타겟 이미지로 정밀하게 국소적으로 전이할 수 있도록 하기 위해
• 복잡한 공간 변형이나 추가 학습 데이터에 의존하지 않고 편집의 국소성과 사진적 사실성 평가를 위해
• 잠재 공간 역행을 통해 이 방법을 실사 이미지로 확장할 수 있는지 탐색하기 위해

제안 방법

• 이 방법은 스타일 제너레이터의 잠재 공간에서 각 레이어가 서로 다른 공간 해상도에서 특정 의미적 특성에 대응하는 분리된 스타일 벡터 표현을 활용한다.
• 타겟 이미지의 관심 영역(ROI)을 제너레이터의 중간 특징 맵에 대해 구면 k-평균 클러스터링을 적용하여 식별한다.
• 타겟 이미지의 스타일 벡터와 참조 이미지의 스타일 벡터 사이에서 스타일 벡터 보간을 수행하며, 참조 영향력을 조절하기 위해 학습 가능한 혼합 계수 λ를 사용한다.
• k-평균 클러스터링에서 유도된 공간 마스크를 통해 오직 타겟 ROI만 수정되도록 하여 전반적인 일관성을 유지한다.
• 지역화된 편집을 달성하기 위해 픽셀 단위의 블렌딩이나 공간 왜곡을 피하기 위해 전역 연산(스타일 벡터 보간)을 사용한다.
• 이 방법은 사전 학습된 스타일 제너레이터와 잠재 공간의 구조에 의존하며, 파라미터 미세조정 없이 종단 간(end-to-end)으로 적용된다.

실험 결과

연구 질문

• RQ1 스타일 제너레이터의 잠재 공간에서 의미적 객체와 부분은 어느 정도 공간적으로 분리되어 있는가?
• RQ2 외부 감독이나 공간 연산 없이 스타일 벡터 조작을 통해 국소적 의미 편집을 달성할 수 있는가?
• RQ3 기존의 특징 블렌딩이나 포isson 편집과 비교해 본다면, 이 방법의 편집 국소성은 어떠한가?
• RQ4 편집된 이미지에서 사진적 사실성은 어느 정도 유지되는가?
• RQ5 잠재 공간 역행을 통해 이 방법을 실사 이미지로 확장할 수 있는가?

주요 결과

• FFHQ 및 LSUN-Bedrooms 데이터셋에서 In-MSE와 Out-MSE 분석을 통해, 타겟 영역 외부의 픽셀 수준 변화가 최소화된 매우 국소적인 편집을 달성하였다.
• FFHQ에서 눈과 입의 편집은 강력한 국소성을 보였지만, 코의 편집은 약간의 부분 간 상관관계를 보이며, 분리성과 사실성 사이의 상충 관계를 시사하였다.
• 편집된 FFHQ 이미지의 프레셰 인ception 거리(FID)는 5.4로, 기준 스타일 제너레이터의 FID 4.4와 비교해 약간 높게 나타나, 뛰어난 사진적 사실성 유지 능력을 보였다.
• LSUN-Bedrooms의 경우, 편집된 이미지의 FID는 4.5로 기준값(2.8)과 유사하여 다양한 이미지 영역에서 일관된 사실성 유지 능력을 보였다.
• 이미지 정렬이 필요 없더라도 동일한 In-MSE에서 Out-MSE가 낮아, 특징 블렌딩보다 우수한 국소화 성능을 보였다.
• 이 방법은 인간 얼굴, 실내 풍경, 고양이, 자동차 등 다양한 도메인에서 효과적이었으며, 넓은 적용 가능성을 입증하였다.