[논문 리뷰] StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN

Hamza Pehlivan, Yusuf Dalva외 1명|arXiv (Cornell University)|2022. 12. 29.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

StyleRes는 높은 레이트 잠재 코드에서 잔차 특징을 학습하고 편집에 기반하여 이를 변환함으로써, StyleGAN에서 이미지 역전환과 편집을 향상시키는 단일 단계 프레임워크를 제안한다. 순환 일致성과 적대적 손실을 결합하여, 얼굴 특징, 액세서리, 배경과 같은 세부 사항을 유지하면서도 최상의 재구성 정밀도와 편집 품질을 달성한다.

ABSTRACT

We present a novel image inversion framework and a training pipeline to achieve high-fidelity image inversion with high-quality attribute editing. Inverting real images into StyleGAN's latent space is an extensively studied problem, yet the trade-off between the image reconstruction fidelity and image editing quality remains an open challenge. The low-rate latent spaces are limited in their expressiveness power for high-fidelity reconstruction. On the other hand, high-rate latent spaces result in degradation in editing quality. In this work, to achieve high-fidelity inversion, we learn residual features in higher latent codes that lower latent codes were not able to encode. This enables preserving image details in reconstruction. To achieve high-quality editing, we learn how to transform the residual features for adapting to manipulations in latent codes. We train the framework to extract residual features and transform them via a novel architecture pipeline and cycle consistency losses. We run extensive experiments and compare our method with state-of-the-art inversion methods. Qualitative metrics and visual comparisons show significant improvements. Code: https://github.com/hamzapehlivan/StyleRes

연구 동기 및 목표

• 고해상도 재구성 정밀도가 편집 품질을 해칠 수 있는 GAN 기반 이미지 역전환에서의 왜곡-편집 가능성 트레이드오프를 해결하기 위해.
• 저레벨 인코딩에서 빠지는 잔차 특징을 고레벨 잠재 코드에서 캡처하여 실사 이미지의 고정밀 재구성을 가능하게 하기 위해.
• 잠재 코드 조작에 맞춰 적응형 잔차 특징 변환을 학습하여 고품질 편집을 가능하게 하기 위해.
• 반복 최적화나 이미지별 튜닝 없이 재구성과 편집 가능성을 동시에 최적화하는 단일 단계 모델을 훈련하기 위해.
• 특성 편집 중 얼굴 특징, 액세서리, 배경 요소와 같은 세부 사항의 유지 보존을 향상시키기 위해.

제안 방법

• 프레임워크는 생성기의 낮은 층과 높은 층에서 특징을 추출하는 새로운 인코더 아키텍처를 사용하여, 저레벨 인코딩에서 누락된 잔차 특징을 학습한다.
• 원본 및 편집된 특징을 별도로 처리하는 두 모듈 $E_1$과 $E_2$를 도입하여, 편집을 위한 잔차 특징의 변환 방법을 학습한다.
• 모델은 적대적 손실과 순환 일치 손실을 함께 훈련한다: 편집된 잠재 코드를 다시 원본 이미지로 재구성하는 것을 목표로 한다.
• 훈련 중에 편집은 잠재 코드 간의 무작위 보간을 통해 시뮬레이션되며, 사전 정의된 편집 유형 없이도 새로운 편집에 일반화할 수 있도록 한다.
• 아키텍처는 엔드 투 엔드로 훈련 가능하며, 이전 방법에서 사용하는 반복 최적화를 피하는 단일 추론 단계에서 작동한다.
• 프리트레인된 StyleGAN 생성기를 특징을 복호화하는 데 활용하여, 편집 시 의미적 일致성을 보장한다.

Figure 2 : When images are encoded to W+ space, as shown in (b), the reconstructions miss many image details. However, the edits are in good quality (c). Additional features can be learned in higher-rate latent codes. For example, skip connections from encoder to generator in higher resolution featu

실험 결과

연구 질문

• RQ1 고레벨 잠재 코드의 잔차 특징은 저레벨 인코딩이 달성할 수 없는 수준의 재구성 정밀도 향상에 기여하는가?
• RQ2 학습 가능한 잔차 특징 변환은 다양한 잠재 코드 조작에 적응하여 편집 중 이미지 세부 사항을 유지하는가?
• RQ3 순환 일치 손실은 편집을 되돌릴 때 입력 세부 사항을 보존하도록 네트워크를 효과적으로 정규화하는가?
• RQ4 단일 단계, 반복 최적화 없는 프레임워크는 기존의 최적화 기반 또는 다단계 역전환 방법보다 재구성 및 편집 품질에서 뛰어난 성능을 내는가?
• RQ5 특성 편집 중 얼굴 흉터, 귀걸이, 배경 질감과 같은 세밀한 이미지 세부 사항을 어느 정도 유지하는가?

주요 결과

• StyleRes는 e4e, HFGI, HyperStyle와의 정성적 비교에서 이미지 재구성과 특성 편집 양 측면에서 최상의 성능을 달성한다.
• 비교된 방법들 중에서 유일하게 다양한 편집에서 얼굴 흉터, 귀걸이, 손, 모자와 같은 세부 사항을 일관되게 유지한다.
• 자세 변화나 색상 조정과 같은 복잡한 편집에서도 시각적 아티팩트나 정체성 손실 없이 높은 재구성 정밀도를 유지한다.
• 절단 실험을 통해 $E_1$과 $E_2$ 모듈이 잔차 특징과 그 변환을 학습하는 데 필수적임을 확인하였으며, 생략 시 성능이 크게 떨어진다.
• 순환 일치 손실의 포함 여부에 따른 시각적 비교에서, 이 손실이 세부 사항 유지에 크게 기여하는 것으로 확인되었다.
• 최적화 기반 기준 모델보다 더 빠른 추론을 구현하며, 반복 정밀화 없이 단일 단계에서 작동한다.

Figure 3 : StyleRes encodes missing features for high-fidelity reconstruction of given input via the first encoder, $E_{1}$ . Those encoded features are the ones which could not be encoded to low-rate W+ space via $E_{0}$ due to the information bottleneck. Through the second encoder, $E_{2}$ , Style