[논문 리뷰] Tensor-based Emotion Editing in the StyleGAN Latent Space

René Haas, Stella Graßhof외 1명|arXiv (Cornell University)|2022. 05. 12.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 스타일 제네레이터 2(StyleGAN2)의 잠재 공간에서 얼굴 감정과 요아(Yaw) 회전을 편집하기 위해 고차원 특이값 분해(HOSVD)를 활용한 텐서 기반 방법을 제안한다. e4e 인코더를 통해 3D 얼굴 표정 데이터베이스(BU-3DFE)를 W+ 공간에 인코딩함으로써, 여섯 가지 대표 감정과 요아에 대응하는 전역적이고 선형적인 의미 방향을 추출한다. 이로 인해 실사 얼굴 이미지에 대해 고해상도의 정체성 유지 편집이 가능하며, 최신 기술(SOTA) 수준의 성능을 보인다.

ABSTRACT

In this paper, we use a tensor model based on the Higher-Order Singular Value Decomposition (HOSVD) to discover semantic directions in Generative Adversarial Networks. This is achieved by first embedding a structured facial expression database into the latent space using the e4e encoder. Specifically, we discover directions in latent space corresponding to the six prototypical emotions: anger, disgust, fear, happiness, sadness, and surprise, as well as a direction for yaw rotation. These latent space directions are employed to change the expression or yaw rotation of real face images. We compare our found directions to similar directions found by two other methods. The results show that the visual quality of the resultant edits are on par with State-of-the-Art. It can also be concluded that the tensor-based model is well suited for emotion and yaw editing, i.e., that the emotion or yaw rotation of a novel face image can be robustly changed without a significant effect on identity or other attributes in the images.

연구 동기 및 목표

• 스타일 제네레이터 2의 잠재 공간에서 대표적인 얼굴 감정과 요아 회전에 대응하는 분리된 의미 방향을 발견하는 것.
• 잠재 코드 재구성과 편집 가능성 향상을 위해 직접 매핑 방식보다 e4e 인코더를 사용함으로써 이전의 HOSVD 기반 모델을 개선하는 것.
• 하나의 잠재 코드에 대해 재하중 계산 없이도 다시 사용할 수 있는 전역적이고 재사용 가능한 의미 방향을 제공하는 것.
• 정량적 지표와 사전 학습된 표정 분류기(분류기)를 통해 의미 해석 가능성과 편집의 시각적 품질을 검증하는 것.

제안 방법

• e4e 인코더를 사용하여 BU-3DFE 3D 얼굴 표정 데이터베이스를 스타일 제네레이터 2의 W+ 잠재 공간에 매핑하여 고품질의 편집 가능한 잠재 코드를 확보한다.
• 인코딩된 데이터로부터 다중선형 텐서 모델을 구축하고, HOSVD를 적용하여 텐서를 코어 구성요소와 인자 행렬으로 분해함으로써 정체성, 표정, 요아에 대응하는 의미 하위공간을 분리한다.
• 감정과 요아 하위공간을 잘라내어 특정 감정 상태와 회전 각도에 대응하는 잠재 공간 내 선형 방향을 추출한다.
• 수득한 방향을 재학습이나 재추정 없이도 W+ 공간 내 임의의 잠재 코드에 직접 적용하여 얼굴 표정을 편집하거나 얼굴를 정면으로 정렬한다.
• 이전의 저랭크 근사와 비교해 더 높은 재구성 정밀도를 확보하기 위해 텐서 모델에서 전랭크 파arameterization을 사용한다.
• 편집 품질 평가에 시각적 유사도(LPIPS) 및 정체성 유사도(ArcFace) 지표를 사용하며, FER2013 데이터셋에 사전 학습된 표정 분류기(PyFeat)를 활용한다.

실험 결과

연구 질문

• RQ1 HOSVD 기반 텐서 모델링은 스타일 제네레이터 2의 W+ 공간에서 얼굴 감정과 요아 회전에 대해 분리된 전역적 의미 방향을 발견할 수 있는가?
• RQ2 직접 매핑 방식과 비교해 e4e 인코더 사용이 잠재 코드의 품질과 편집 가능성에 어떤 영향을 미치는가?
• RQ3 발견된 방향이 편집 과정에서 정체성을 유지하고 다른 속성과의 엔트레인먼트를 최소화하는 데 얼마나 효과적인가?
• RQ4 제안된 방법의 시각적 및 정량적 결과는 GANSpace 및 InterFaceGAN과 같은 최신 기술(SOTA)과 비교해 어떻게 다른가?
• RQ5 일부 감정 편집(공포, 혐오)에서 분류기 출력에 예상치 못한 레이블 이동이 발생하는 이유는 무엇이며, 이는 모델 한계 때문인가, 데이터 분포의 차이 때문인가?

주요 결과

• 제안된 방법은 GANSpace 및 InterFaceGAN과 같은 최신 기술 수준의 시각적 편집 품질을 확보하였으며, 정성적 비교를 통해 이를 확인하였다.
• FEI 데이터셋에서의 정량적 평가 결과, LPIPS(0.305 ± 0.004)는 더 낮고 ArcFace 정체성 유사도(0.372 ± 0.008)는 더 높아서 InterFaceGAN(0.315 ± 0.003, 0.402 ± 0.008)보다 정면화 정밀도가 뛰어났다.
• 우리의 방법에서는 정면화된 이미지에서 눈의 방향이 정면을 향했으며, InterFaceGAN는 눈의 방향이 잘못 맞춰진 결과를 보였다.
• 표정 편집은 의도한 감정 클래스(분노, 기쁨, 슬픔, 놀람)의 확률 질량을 증가시켜 의미 해석 가능성의 타당성을 확인하였다.
• 혐오 방향 편집은 혐오와 분노 확률을 모두 증가시키며, 공포 편집은 놀람 확률을 증가시켰다—이는 모델 한계가 아니라 BU-3DFE와 FER2013 간의 데이터 분포 차이 때문으로 추정된다.
• 이 방법은 전역적이고 재사용 가능한 방향을 제공한다: 한 번 계산된 후에는 재추정 없이도 임의의 잠재 코드에 적용 가능하므로, 이전 방법 대비 효율성이 크게 향상된다.