[논문 리뷰] A3GAN: An Attribute-aware Attentive Generative Adversarial Network for Face Aging

Yunfan Liu, Qi Li외 2명|arXiv (Cornell University)|2019. 11. 15.

Face recognition and analysis참고 문헌 50인용 수 6

한 줄 요약

A3GAN은 연령 관련 특징을 고려한 주의 메커니즘과 웨이블릿 패킷 변환을 활용한 특성 인식 GAN을 제안하여 얼굴 노화를 수행한다. 이 모델은 생성기와 판별기 양쪽에 얼굴 특징을 통합하여 의미 일致성을 확보하고, 연령 관련 영역에 집중하는 주의 메커니즘을 적용하며, 다중 척도 텍스처 모델링을 위해 웨이블릿 패킷 변환을 사용한다. 이는 MORPH 및 CACD 데이터셋에서 최고 성능을 기록하며 정체성 유지와 얼굴 특징 충실도가 향상된다.

ABSTRACT

Face aging, which aims at aesthetically rendering a given face to predict its future appearance, has received significant research attention in recent years. Although great progress has been achieved with the success of Generative Adversarial Networks (GANs) in synthesizing realistic images, most existing GAN-based face aging methods have two main problems: 1) unnatural changes of high-level semantic information (e.g. facial attributes) due to the insufficient utilization of prior knowledge of input faces, and 2) distortions of low-level image content including ghosting artifacts and modifications in age-irrelevant regions. In this paper, we introduce A3GAN, an Attribute-Aware Attentive face aging model to address the above issues. Facial attribute vectors are regarded as the conditional information and embedded into both the generator and discriminator, encouraging synthesized faces to be faithful to attributes of corresponding inputs. To improve the visual fidelity of generation results, we leverage the attention mechanism to restrict modifications to age-related areas and preserve image details. Moreover, the wavelet packet transform is employed to capture textural features at multiple scales in the frequency space. Extensive experimental results demonstrate the effectiveness of our model in synthesizing photorealistic aged face images and achieving state-of-the-art performance on popular face aging datasets.

연구 동기 및 목표

• 조건부 감독이 부족하여 GAN 기반 얼굴 노화 모델에서 자연스럽지 않은 얼굴 특징 변화를 해결한다.
• 합성된 연령이 증가한 얼굴에서 유령화 아티팩트와 연령과 관련 없는 이미지 왜곡을 줄인다.
• 연령 관련 영역에만 생성적 수정을 제한함으로써 시각적 충실도를 향상시킨다.
• 웨이블릿 패킷 변환을 활용해 다중 척도 텍스처 모델링을 향상시켜 주름, 회색 머리카락 등의 정확한 노화 징후를 모델링한다.
• 기준 데이터셋에서 정체성 유지 및 얼굴 특징 일관성 측면에서 최고 성능을 달성한다.

제안 방법

• 학습 중 특징 일관성을 확보하기 위해 생성기와 판별기에 얼굴 특징 벡터를 조건부 입력으로 통합한다.
• 생성기에서 주의 메커니즘을 적용하여 이미지 수정을 연령 관련 얼굴 영역(예: 이마, 볼)에 국한시켜 비연령 관련 영역의 세부 정보를 유지한다.
• 웨이블릿 패킷 변환(WPT)을 활용해 다중 척도 주파수 도메인 텍스처 특징을 추출하여 노화 특징의 표현을 향상시킨다.
• 다양한 웨이블릿 하위대역에서 특징를 처리하는 다중 경로 판별기(WMD)를 설계하여 다양한 척도에서의 구분 가능한 노화 패턴을 포착한다.
• 모델을 엔드 투 엔드로 훈련시키기 위해 적대적 손실, 정체성 복원 손실, 특징 일관성 손실을 사용하여 현실성과 의미 일관성의 균형을 이룬다.
• 쌍화된 연령 매칭 예제 없이도 확장 가능하고 현실적인 얼굴 노화를 가능하게 하기 위해, 서로 다른 정체성의 젊은 얼굴과 노란 얼굴 데이터를 사용해 비쌍화 훈련 데이터를 활용한다.

실험 결과

연구 질문

• RQ1 비쌍화 얼굴 노화 설정에서 얼굴 특징 임bedding이 합성된 노화된 얼굴의 의미 일관성에 기여하는가?
• RQ2 이미지 수정의 주의 기반 국소화가 유령화 아티팩트를 줄이고 비연령 관련 이미지 세부 정보를 유지하는가?
• RQ3 웨이블릿 패킷 기반의 다중 척도 특징 추출이 주름, 회색 머리카락과 같은 현실적인 노화 텍스처를 모델링하는 데 기여하는가?
• RQ4 제안된 다중 경로 판별기(WMD)는 표준 PatchGAN에 비해 연령 관련 시각적 패턴을 얼마나 잘 포착하는가?
• RQ5 특징 인식, 주의 메커니즘, 다중 척도 특징 학습을 통합함으로써 얼굴 노화 품질과 충실도가 얼마나 향상되는가?

주요 결과

• 제안된 A3GAN은 MORPH 및 CACD 데이터셋에서 최고 성능을 기록하여 이전 방법들보다 시각적 현실성과 특징 일관성 측면에서 뛰어난 성능을 보였다.
• 얼굴 특징 임bedding을 제거한 경우(FE w/o) 얼굴 특징 유지율이 크게 감소하였으며, 특히 '성별'과 '민족'에 대해 뚜렷한 영향을 미쳐 그 핵심적 역할을 입증하였다.
• 주의 메커니즘이 시각적 왜곡과 유령화 아티팩트를 줄였으며, 특히 얼굴 윤곽선과 머리카락 영역에서 뚜렷하게 향상되었고, 이는 더 높은 얼굴 인식 신뢰도와 정확한 특징 인식을 이끌어냈다.
• 웨이블릿 기반 다중 경로 판별기(WMD)는 실제와 합성된 노화된 얼굴 간의 분포 갭을 줄여 연령 추정 정확도와 노화 징후의 현실감을 향상시켰다.
• 절단 실험 결과, 모든 구성 요소(FE, AM, WMD)가 독립적이고 상호 보완적으로 기여하며, 전체 모델은 98% 이상의 얼굴 인식 정확도와 높은 특징 유지율을 달성하였다.
• 강력한 성능에도 불구하고, 데이터 편향과 부족함으로 인해 소수 민족(예: 아시아계, 히스패닉계) 및 아동의 노화에 일반화하는 데 한계를 보였다.