[논문 리뷰] Attribute-aware Face Aging with Wavelet-based Generative Adversarial Networks

Yunfan Liu, Qi Li외 1명|arXiv (Cornell University)|2018. 09. 18.

Face recognition and analysis참고 문헌 28인용 수 6

한 줄 요약

이 논문은 쌍방향이 아닌 연령 변화 번역 과정에서 일치하지 않는 속성 변화를 줄이기 위해 생성자와 판별자 양쪽에 얼굴 속성 정보를 통합한 웨이블릿 기반 GAN 프레임워크를 제안한다. 다중 척도 텍스처 모델링을 위해 웨이블릿 패킷 변환을 통합함으로써, Morph 및 CACD 데이터셋에서 신원과 속성 유지 능력이 향상되고 시각적 정밀도가 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Since it is difficult to collect face images of the same subject over a long range of age span, most existing face aging methods resort to unpaired datasets to learn age mappings. However, the matching ambiguity between young and aged face images inherent to unpaired training data may lead to unnatural changes of facial attributes during the aging process, which could not be solved by only enforcing identity consistency like most existing studies do. In this paper, we propose a attribute-aware face aging model with wavelet-based Generative Adversarial Networks (GANs) to address the above issues. To be specific, we embed facial attribute vectors into both generator and discriminator of the model to encourage each synthesized elderly face image to be faithful to the attribute of its corresponding input. In addition, a wavelet packet transform (WPT) module is incorporated to improve the visual fidelity of generated images by capturing age-related texture details at multiple scales in the frequency space. Qualitative results demonstrate the ability of our model to synthesize visually plausible face images, and extensive quantitative evaluation results show that the proposed method achieves state-of-the-art performance on existing datasets.

연구 동기 및 목표

• 쌍방향이 아닌 얼굴 연령 변화 데이터셋에서 내재된 매칭 모호성으로 인해 발생하는 자연스럽지 않은 속성 변화를 해결하기 위해.
• 다중 척도에서 연령 관련 텍스처 세부 정보를 캡처함으로써 생성된 노화된 얼굴의 시각적 정밀도를 향상시키기 위해.
• 신원 일관성만으로는 현실적인 노화를 보장하는 데 한계가 있으므로, 의미론적 얼굴 속성 감독을 통합하여 이를 보완하기 위해.
• 신원과 얼굴 속성을 모두 유지하면서도 연령 진행에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 성별, 인종, 안경 등과 같은 의미론적 속성에 따라 노화 과정을 조절하기 위해 얼굴 속성 벡터를 생성자와 판별자 양쪽에 통합한다.
• 다중 척도 주파수 도메인 특징을 추출하여 텍스처 모델링을 향상시키기 위해 판별자의 초기 레이어로 웨이블릿 패킷 변환(WPT) 모듈을 도입한다.
• 생성자와 판별자가 다중 척도 판별자를 사용하는 조건부 GAN 프레임워크를 통해 젊은 얼굴을 노화된 버전으로 매핑하면서도 신원과 속성 일관성을 유지하도록 학습한다.
• 학습 중 감독을 위해 공개 API(예: Face++)를 활용해 얼굴 속성을 추출한다.
• 실제감을 높이고 잡음 요소를 줄이기 위해 다중 척도 판별자를 사용한 적대적 훈련을 수행한다.
• 유령화 현상과 속성 이탈을 줄이기 위해 속성 통합과 WPT의 기여도를 검증하기 위해 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 쌍방향이 아닌 얼굴 연령 변화 과정에서 얼굴 속성 감독이 속성 이탈을 줄일 수 있는가?
• RQ2 웨이블릿 패킷 변환을 통한 다중 척도 텍스처 모델링이 생성된 노화된 얼굴의 현실감을 향상시키는가?
• RQ3 속성 통합과 WPT를 결합하면 신원만 고려하는 제약 조건보다 더 나은 성능을 낼 수 있는가?
• RQ4 제안된 구성 요소들이 쌍방향 훈련 조건에서 신원과 속성 유지 능력 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 Morph 데이터셋의 31–40세 연령 그룹에서 97.37%의 얼굴 인식 정확도를 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• 속성 통합으로 인해 속성 유지율이 크게 향상되었으며, 51세 이상으로 노화시킬 경우 '인종'에 대해 96.07%, '성별'에 대해 97.21%의 유지율을 기록했다.
• 분석 실험 결과, 속성 통합과 WPT를 모두 제거할 경우 심각한 유령화 현상과 잘못된 속성(예: 여성 얼굴에 수염 추가)이 발생함을 확인했다.
• WPT를 통합함으로써 유령화 잡음이 크게 감소하고 시각적 품질이 향상되었으며, 이는 속성 통합이 없더라도 동일한 효과를 보였다.
• 전체 모델(FAE와 WPT 모두 포함)은 51세 이상 그룹에서 95.86%의 인식 정확도와 '안경' 속성에 대해 93.22%의 유지율을 기록하여 뛰어난 강건성을 입증했다.
• 정량적 결과는 신원 유지만으로는 충분하지 않으며, 쌍방향 데이터에서의 매칭 모호성을 해결하기 위해 속성 감독이 필수적임을 확인했다.