[논문 리뷰] Style Intervention: How to Achieve Spatial Disentanglement with Style-based Generators?

Yunfan Liu, Qi Li외 2명|arXiv (Cornell University)|2020. 11. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 16

한 줄 요약

이 논문은 StyleGANv2와 같은 스타일 기반 생성기의 특징 공간에서 스타일 코드를 조작하여 공간적으로 분리된 이미지 편집을 달성하는 경량 최적화 기반 방법인 스타일 인터벤션을 제안한다. 특정 시각적 개념과 관련된 특징 맵을 대상으로 함으로써, 추가적인 네트워크 학습이나 애너테이션 데이터가 필요 없이 정밀한 국소적 편집을 가능하게 하며, 고해상도 얼굴 속성 편집 작업에서 시각적 정확도와 공간 분리도 측면에서 최신 기술을 능가한다.

ABSTRACT

Generative Adversarial Networks (GANs) with style-based generators (e.g. StyleGAN) successfully enable semantic control over image synthesis, and recent studies have also revealed that interpretable image translations could be obtained by modifying the latent code. However, in terms of the low-level image content, traveling in the latent space would lead to `spatially entangled changes' in corresponding images, which is undesirable in many real-world applications where local editing is required. To solve this problem, we analyze properties of the 'style space' and explore the possibility of controlling the local translation with pre-trained style-based generators. Concretely, we propose 'Style Intervention', a lightweight optimization-based algorithm which could adapt to arbitrary input images and render natural translation effects under flexible objectives. We verify the performance of the proposed framework in facial attribute editing on high-resolution images, where both photo-realism and consistency are required. Extensive qualitative results demonstrate the effectiveness of our method, and quantitative measurements also show that the proposed algorithm outperforms state-of-the-art benchmarks in various aspects.

연구 동기 및 목표

• 스타일 기반 GAN의 전역 잠재 공간 조작으로 인한 이미지 번역에서의 공간적 혼란 문제를 해결하기 위해.
• 특정 이미지 콘텐츠(예: 얼굴 속성)에 대한 정밀한 국소적 편집을 가능하게 하되, 관련 없는 영역에는 영향을 주지 않기 위해.
• 추가 학습이나 애너테이션 없이도 어떤 사전 훈련된 스타일 기반 생성기와도 작동하는 일반 목적의 프레임워크를 개발하기 위해.
• 잠재 공간($\mathcal{Z}$) 또는 $\mathcal{W}$-공간에서의 편집을 시도하는 기존 방법들이 공간적으로 혼란스러운 변화를 겪는 문제를 개선하기 위해.
• 세부 제어가 가능한 이미지 콘텐츠의 개별 시각적 개념에 대해 고사실감과 정체성 일관성을 유지하면서도 편집을 수행하기 위해.

제안 방법

• 목표 시각적 개념(예: 안경)과 가장 관련 깊은 생성기의 중간 레이어에서의 특징 맵을 기울기 기반 중요도 분석을 통해 식별하는 프레임워크를 제안한다.
• 선택된 특징 맵의 스타일 코드만을 조정하기 위해 최적화를 적용하며, 목표 속성 변화와 콘텐츠 유지 균형을 고려한 맞춤형 목적 함수를 최소화한다.
• 새로운 네트워크 학습이나 속성 애너테이션을 요구하지 않는 경량 최적화 루프를 사용하며, 사전 훈련된 생성기의 중간 활성화만을 기반으로 한다.
• 고해상도 생성과 입력 이미지와의 일관성을 보장하기 위해 인지적, L2, 정체성 유지 성분을 조합한 다중 척도 손실을 활용한다.
• 다양한 번역 작업에 맞게 목적 함수를 탄력적으로 커스터마이징하여 다양한 편집 목표에 적응 가능하도록 한다.
• 잠재 공간이 아닌 스타일 공간(즉, 스타일 벡터의 공간)에서 직접 작동하여, 공간적으로 선택적인 스타일 코드 조작을 통해 국소적 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 스타일 기반 생성기의 특징 공간에서 특정 스타일 코드만 조작함으로써 공간적으로 분리된 이미지 편집을 달성할 수 있는가?
• RQ2 목표 시각적 개념과 관련된 스타일 코드를 최적화하면, $\mathcal{Z}$ 또는 $\mathcal{W}$ 공간에서의 편집보다 더 정밀하고 국소적인 이미지 번역이 가능한가?
• RQ3 추가 학습이나 애너테이션 데이터 없이도 경량 최적화 기반 방법이 고품질의 편집을 달성할 수 있는가?
• RQ4 공간 분리도와 시각적 정확도 측면에서 제안된 방법은 최신 기반 GAN 기반 얼굴 속성 편집 모델과 비교해 어떻게 성능을 내는가?
• RQ5 편집 과정에서 비타겟 이미지 콘텐츠와 정체성이 얼마나 잘 유지되는가?

주요 결과

• 제안된 방법은 공간 분리도 측면에서 최신 기준을 초월하며, 사용자 평가에서 98.10%가 비타겟 이미지 콘텐츠 유지 능력을 뛰어나다고 평가했다.
• 사용자 연구 결과, 82.85%의 참가자가 AttGAN보다, 78.08%가 StarGAN보다 속성 번역 품질에서 제안된 방법을 선호했다.
• 정량적 결과로는 높은 얼굴 인식 점수(ID)와 구조적 유사도(SSI)를 기록하여 강력한 콘텐츠 유지 능력을 입증했다.
• 사용자 연구에서 이미지 품질에 대해 100%의 선호도를 기록했으며, 이는 전통적인 cGAN 기반 모델인 StarGAN과 AttGAN조차도 뛰어넘었다.
• 고해상도 얼굴 속성 편집 작업에서, 사진처럼 사실감 있는 품질을 유지하면서 배경과 정체성에 대한 불필요한 변화를 최소화함을 정성적·정량적 평가로 확인했다.
• $\mathcal{W}$-공간에서의 편집보다 더 뛰어난 공간 분리도를 달성했으며, 스타일 코드 간섭을 통해 특정 특징 맵을 정확히 타겟팅함으로써 그 장점을 입증했다.