[논문 리뷰] StyleGAN knows Normal, Depth, Albedo, and More

Anand Bhattad, Daniel McKee외 2명|arXiv (Cornell University)|2023. 06. 01.

Computer Graphics and Visualization Techniques인용 수 6

한 줄 요약

이 논문은 StyleGAN이 이러한 데이터에 대한 명시적 훈련 없이도 잠재 공간 내에서 고유한 이미지 표현—예: 법선, 깊이, 알베도, 세그멘테이션—을 내재적으로 인코딩한다는 것을 보여준다. 고정된, 작업별로 특화된 잠재 오프셋을 노이즈 벡터에 적용함으로써, 모델은 조명 변화에 강건한 고품질의 고유 이미지를 생성하며, 이는 이 분야에서 최신의 회귀 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Intrinsic images, in the original sense, are image-like maps of scene properties like depth, normal, albedo or shading. This paper demonstrates that StyleGAN can easily be induced to produce intrinsic images. The procedure is straightforward. We show that, if StyleGAN produces $G({w})$ from latents ${w}$, then for each type of intrinsic image, there is a fixed offset ${d}_c$ so that $G({w}+{d}_c)$ is that type of intrinsic image for $G({w})$. Here ${d}_c$ is {\em independent of ${w}$}. The StyleGAN we used was pretrained by others, so this property is not some accident of our training regime. We show that there are image transformations StyleGAN will {\em not} produce in this fashion, so StyleGAN is not a generic image regression engine. It is conceptually exciting that an image generator should ``know'' and represent intrinsic images. There may also be practical advantages to using a generative model to produce intrinsic images. The intrinsic images obtained from StyleGAN compare well both qualitatively and quantitatively with those obtained by using SOTA image regression techniques; but StyleGAN's intrinsic images are robust to relighting effects, unlike SOTA methods.

연구 동기 및 목표

• 사전 훈련된 생성 모델인 StyleGAN이 깊이, 법선, 알베도, 세그멘테이션과 같은 고유한 시cene 속성을 암묵적으로 인코딩하는지 조사하기.
• 재학습이나 미세조정 없이도 잠재 공간 조작을 통해 이러한 고유 표현을 접근할 수 있는지 확인하기.
• 최신의 회귀 기반 방법과 비교하여 이러한 고유 이미지의 품질과 강건성 평가하기.
• StyleGAN이 일반적인 이미지 프로세서인지, 아니면 시cene의 기하학적 및 광학적 속성에 특별히 인코딩되어 있는지 테스트하기.

제안 방법

• 사전 훈련된 StyleGAN의 입력 잠재 벡터 $\mathbf{w}$ 에 고정된, 작업별로 특화된 잠재 코드 오프셋 $\mathbf{d}_c$ 를 적용하여 고유 이미지를 생성: $G(\mathbf{w} + \mathbf{d}_c)$.
• 각 고유 유형(예: 법선, 깊이, 알베도, 세그멘테이션)에 대해 오프셋 $\mathbf{d}_c$ 를 학습하기 위해 가중치가 부여된 회귀 손실을 사용하여 생성된 이미지와 목표 고유 지ap 사이의 차이를 최소화하기.
• 고유 이미지 데이터에 노출되지 않은 사전 훈련된 StyleGAN을 사용하여, 표현이 훈련의 부작위적 결과가 아니라는 것을 보장하기.
• StyLitGAN을 사용하여 동일한 시cene의 조명 증강 버전을 생성하여, 재조명 조건 하에서 고유 이미지의 강건성 평가 가능하게 하기.
• 정량적(예: 평균 교차율, 각도 오차 등) 및 정성적 방법으로 최신의 회귀 모델과 비교하여 생성된 고유 이미지 평가하기.
• 제어 실험을 통해 잠재 오프셋을 사용해 왼쪽과 오른쪽 이미지 반을 바꾸는 시도를 하였는데, 실패함—이를 통해 StyleGAN이 일반적인 이미지 변환을 수행하지 못함을 확인하며, 이는 StyleGAN이 일반적인 이미지 프로세서가 아니라 고유한 시cene 속성을 인코딩하고 있음을 뒷받침한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 StyleGAN 모델이 어떤 미세조정이나 추가 학습 없이도 고유 이미지(예: 법선, 깊이, 알베도)를 생성할 수 있는가?
• RQ2 StyleGAN의 잠재 공간 내 고유 이미지 표현이 입력 잠재 벡터 $\mathbf{w}$ 와 독립적인가, 즉 고정된 오프셋 $\mathbf{d}_c$ 가 모든 $\mathbf{w}$ 에 대해 일관되게 원하는 고유 이미지를 생성하는가?
• RQ3 StyleGAN이 생성한 고유 이미지의 품질과 강건성은 조명 변화에 대해 최신의 회귀 기반 방법과 비교해 어떻게 되는가?
• RQ4 StyleGAN은 일반적인 이미지 프로세서인가, 아니면 시cene의 기하학적 및 광학적 속성에 특별히 인코딩되어 있는가?
• RQ5 현재 GAN 역전환 제약 조건이 존재하는 바, 생성 모델의 잠재 공간을 사용해 실제 이미지에서 고유 이미지를 추출할 수 있는가?

주요 결과

• StyleGAN은 재학습이나 미세조정 없이도 고정된, 작업별로 특화된 잠재 오프셋 $\mathbf{d}_c$ 만으로도 고유 이미지(법선, 깊이, 알베도, 세그멘테이션)를 고품질로 생성한다.
• StyleGAN이 생성한 고유 이미지는 조명 변화에 강건하며, 16가지 조명 조건에서 법선의 평균 각도 오차가 안정적으로 유지되며, 최신의 회귀 모델은 평균 8도의 편차(최대 14도)를 보인다.
• 정량적 비교에서 StyleGAN이 생성한 세그멘테이션은 ADE20k 벤치마크에서 대규모 비전 트랜스포머(DPT)와 유사한 성능을 보이며, 정성적 결과에서는 램프나 베개와 같은 희귀 객체에 대해 더 완전한 표현을 보인다.
• 제어 실험을 통해 StyleGAN이 일반적인 이미지 조작(예: 왼쪽-오른쪽 이미지 반전)을 수행할 수 없다는 점을 확인하였으며, 이는 StyleGAN이 일반적인 이미지 프로세서가 아니라 고유한 시cene 속성을 인코딩하고 있음을 뒷받침한다.
• 더 작은 모델을 사용하고도 데이터 증강이나 3D 감독 없이도 최신의 회귀 모델보다 조명 변화에 대한 강건성에서 뛰어난 성능을 보였다.
• 결과는 고유 이미지 표현이 우연의 산물이 아니라, 현실적인 이미지를 합성하기 위한 모델의 필요성에서 기인할 가능성이 높으며, 이러한 표현이 이미지 생성의 핵심 요소임을 시사한다.