[논문 리뷰] FEAT: Face Editing with Attention

Xianxu Hou, Linlin Shen외 3명|arXiv (Cornell University)|2022. 02. 06.

Face recognition and analysis인용 수 11

한 줄 요약

FEAT는 스타일 제너레이터 내 특정 얼굴 부위에 편집을 국소화하기 위해 학습된 어텐션 맵을 사용하는 텍스트 유도형 얼굴 편집 방법을 제안한다. 이는 분리성과 제어 가능성 향상에 기여한다. CLIP에 의해 감독되는 어텐션 마스크를 사용해 특징을 융합함으로써, 고유한 잠재 공간 분리성에 의존하지 않고도 정밀한 속성 기반 편집을 달성한다.

ABSTRACT

Employing the latent space of pretrained generators has recently been shown to be an effective means for GAN-based face manipulation. The success of this approach heavily relies on the innate disentanglement of the latent space axes of the generator. However, face manipulation often intends to affect local regions only, while common generators do not tend to have the necessary spatial disentanglement. In this paper, we build on the StyleGAN generator, and present a method that explicitly encourages face manipulation to focus on the intended regions by incorporating learned attention maps. During the generation of the edited image, the attention map serves as a mask that guides a blending between the original features and the modified ones. The guidance for the latent space edits is achieved by employing CLIP, which has recently been shown to be effective for text-driven edits. We perform extensive experiments and show that our method can perform disentangled and controllable face manipulations based on text descriptions by attending to the relevant regions only. Both qualitative and quantitative experimental results demonstrate the superiority of our method for facial region editing over alternative methods.

연구 동기 및 목표

• 편집이 목표로 하지 않은 속성까지 영향을 주는 문제를 해결하기 위해, GAN 내에서 분리되고 국소화된 얼굴 편집을 달성한다.
• 스타일 제너레이터의 잠재 공간 내 고유한 분리성에 의존도를 줄이기 위해, 편집을 목표로 하는 얼굴 부위에 명시적으로 국소화한다.
• CLIP의 텍스트-이미지 임베딩을 활용해 감독함으로써, 사용자 간섭 최소화로 직관적인 텍스트 기반 편집을 가능하게 한다.
• 공간 어텐션 맵을 통해 특징 융합를 안내함으로써 편집 품질 향상과 정체성 유지에 기여한다.
• 다양한 편집 작업(예: 색상 대비 구조)에 대해 다양한 특징 레이어에 어텐션 맵을 적용하는 효과를 입증한다.

제안 방법

• CLIP 임베딩을 감독으로 사용해 주어진 텍스트 프롬프트에 대해 잠재 공간 오프셋을 예측하는 매핑 네트워크를 훈련한다.
• 편집이 적용되어야 할 위치를 안내하는 공간 마스크를 생성하는 어텐션 모듈을 도입한다.
• 스타일 제너레이터의 선택된 중간 레이어에서 원본 및 수정된 특징을 어텐션 마스크를 사용해 융합한다.
• CLIP의 공동 텍스트-이미지 임베딩 공간을 활용해 텍스트 프롬프트와 관련된 얼굴 부위를 정렬함으로써, 제로샷 텍스트 기반 편집을 가능하게 한다.
• 어텐션 마스크를 사용해 원본 및 수정된 특징 간의 융합을 수행함으로써 정체성 유지와 스플레시오닝 효과 감소를 도모한다.
• 먼저 영역 마스크(예: '검은 머리')를 학습하고, 이후에 해당 영역 내에서만 두 번째 편집(예: '불' 색상)을 적용함으로써 이중 단계 편집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 CLIP 임베딩에서 학습된 어텐션 맵이 GAN 기반 얼굴 편집 중 특정 얼굴 부위에 편집을 효과적으로 국소화할 수 있는가?
• RQ2 어텐션 유도 특징 융합을 사용할 경우, 표준 잠재 공간 편집 방법 대비 분리성이 향상되는가?
• RQ3 융합에 사용하는 특징 레이어의 선택이 편집 품질과 정확성에 어떤 영향을 미치는가(예: 색상 대비 구조적 변화)?
• RQ4 어텐션 메커니즘이 편집 강도나 분리성 파rameter 수동 조정이 필요 없이 더 직관적인 텍스트 기반 편집을 가능하게 하는가?
• RQ5 이중 단계 프로세스에서 어텐션 마스크를 재사용해 고정밀도의 복잡한 영역 기반 편집을 가능하게 할 수 있는가?

주요 결과

• 기본 방법 대비 비표적 속성(예: 배경, 관련 없는 얼굴 특징)에 대한 의도하지 않은 변화가 어텐션 유도 방법에서 크게 감소함을 실험적으로 입증함.
• 실험 결과, 높은 레이어(예: 레이어 18)에서 특징 융합을 수행할 경우 색상 조작에 더 우수한 결과를 얻었고, 낮은 레이어(예: 레이어 8)는 표현이나 형태와 같은 구조적 편집에 더 효과적임을 확인함.
• 제거 실험 결과, 어텐션 맵을 제거할 경우 편집이 엉키는 현상(예: 눈 색상 변경이 피부 톤이나 배경에 영향을 주거나, 얼굴 구조 편집이 머리카락이나 안경에 영향을 줌)이 발생함을 확인함.
• 이중 단계 편집 접근법이 사전 정의된 영역 내에서 복잡한 편집(예: '불' 또는 '라벤더' 색상의 머리카락 칠하기)을 성공적으로 국소화함으로써 정밀한 영역 제어를 가능하게 함.
• 정량적 결과에서 FID(이미지 품질)는 낮아지고, CS(정체성 유지)는 높아지고, ED(편집 거리)는 감소하여 시각적 정밀도와 편집 특이성 향상됨을 확인함.
• 다양한 얼굴 속성과 자세에 대해 일반화 가능하며, 다양한 조건에서도 어텐션 맵이 관련 영역을 효과적으로 식별함을 입증함.