[논문 리뷰] Age Progression and Regression with Spatial Attention Modules

Qi Li, Yunfan Liu외 1명|arXiv (Cornell University)|2019. 03. 06.

Face recognition and analysis참고 문헌 11인용 수 6

한 줄 요약

이 논문은 연령 진행과 역연령화를 동시에 수행할 수 있도록 이중 생성자와 공간 주의 모듈을 갖춘 조건부 GAN 프레임워크를 제안한다. 노화와 청소년화를 별개의 반대 방향 번역 작업으로 모델링하고, 공간 주의를 통해 연령 관련 얼굴 영역에 집중함으로써, 기존 방법에 비해 더 높은 정확도와 사실성으로 다양한 실외 조건에서도 신원을 유지하는 사진 수준의 정교한 얼굴 이미지를 생성한다.

ABSTRACT

Age progression and regression refers to aesthetically render-ing a given face image to present effects of face aging and rejuvenation, respectively. Although numerous studies have been conducted in this topic, there are two major problems: 1) multiple models are usually trained to simulate different age mappings, and 2) the photo-realism of generated face images is heavily influenced by the variation of training images in terms of pose, illumination, and background. To address these issues, in this paper, we propose a framework based on conditional Generative Adversarial Networks (cGANs) to achieve age progression and regression simultaneously. Particularly, since face aging and rejuvenation are largely different in terms of image translation patterns, we model these two processes using two separate generators, each dedicated to one age changing process. In addition, we exploit spatial attention mechanisms to limit image modifications to regions closely related to age changes, so that images with high visual fidelity could be synthesized for in-the-wild cases. Experiments on multiple datasets demonstrate the ability of our model in synthesizing lifelike face images at desired ages with personalized features well preserved, and keeping age-irrelevant regions unchanged.

연구 동기 및 목표

• 기존의 연령 진행 및 역연령화 방법은 자주 자세, 조명 및 배경 변화로 인해 사진 수준의 사실성 부족 문제를 겪거나 복수의 모델이 필요하다는 한계를 해결하고자 한다.
• 조건부 GAN을 활용해 연령 진행과 역연령화를 하나의 프레임워크로 통합하여 동시에 노화 및 청소년화 효과를 합성할 수 있도록 한다.
• 공간 주의 메커니즘을 통해 연령 관련 얼굴 영역에만 수정을 제한함으로써 이미지 품질을 향상시키고 잡음 요소를 줄인다.
• 복잡한 배경이나 가림 요소와 같은 관련 없는 이미지 콘텐츠의 간섭을 최소화함으로써 실외 이미지의 다양한 변화에 대한 내성을 향상시킨다.
• 사전 학습된 연령 분류기나 신원 특징 추출기 없이도 고도로 신원을 유지하고 정확한 연령 번역을 달성하고자 한다.

제안 방법

• 프레임워크는 연령 진행을 위한 하나의 생성자(주름 추가, 깊은 웃음살 형성)와 연령 역전을 위한 다른 하나의 생성자(주름 제거, 피부 매끄럽게)를 각각 별도로 사용하며, 각 생성자는 목표 연령에 따라 조건화된다.
• 공간 주의 모듈을 두 생성자에 통합하여 노화 변화와 관련된 영역(예: 눈, 이마, 입 주변)을 동적으로 강조한다.
• 주의 메커니즘은 이미지 번역을 오직 이러한 주목적 영역으로 제한함으로써, 배경이나 액세서리와 같은 연령과 무관한 특징을 유지하면서 가짜 영역(ghosting) 잡음 요소를 줄인다.
• 실제 이미지 합성을 보장하기 위해 조건부 GAN 손실을 사용하며, 생성자와 판별자 간의 적대적 훈련을 통해 품질을 향상시킨다.
• 훈련 데이터는 연령 순서로 정렬되어 있어 모델 수렴을 향상시키고 각 생성자가 한 방향의 연령 변화(진행 또는 역전)에 특화되도록 한다.
• 사전 학습된 연령 분류기나 신원 인코더가 필요 없이 엔드 투 엔드로 훈련되며, 이는 훈련 파이프라인을 단순화한다.

실험 결과

연구 질문

• RQ1 통합된 조건부 GAN 프레임워크가 동시에 연령 진행과 역연령화를 효과적으로 수행할 수 있는가?
• RQ2 노화와 청소년화에 대해 별도의 생성자를 사용할 경우 단일 모델 접근법에 비해 성능 향상이 얼마나 이루어지는가?
• RQ3 공간 주의 모듈을 통합할 경우 연령 번역 작업에서 잡음 요소가 얼마나 감소하고 이미지 품질이 향상되는가?
• RQ4 다양한 자세, 조명 및 배경을 가진 실외 이미지에 대해 모델의 일반화 능력은 얼마나 우수한가?
• RQ5 정렬된 훈련 데이터 사용이 모델 수렴과 연령 번역 작업 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 Morph, CACD, UTKFace 세 데이터셋 전반에서 기존 최고 성능 모델인 CAAE, IPCGAN, Dual cGAN을 모두 능가하는 연령 번역 정확도와 신원 유지 성능을 달성한다.
• CACD 및 UTKFace 데이터셋에서, IPCGAN가 픽셀 단위 재추정과 증가된 왜곡 문제로 어려움을 겪는 데 비해, 본 모델은 유의미하게 높은 연령 번역 정확도를 확보한다.
• 사전 학습된 연령 분류기나 신원 특징 추출기가 필요 없이 고해상도(256×256) 이미지를 생성함으로써 훈련을 단순화하고 재현 가능성을 향상시킨다.
• 절단 실험 결과, 공간 주의 모듈과 정렬된 입력 훈련 쌍이 최적 성능을 내기 위해 필수적임을 확인하였으며, 특히 CACD 및 UTKFace와 같은 실외 데이터셋에서 더 큰 성과 향상을 보였다.
• FG-NET, CelebA, IMDB-WIKI와 같은 새로운 데이터셋에 대해서도 일반화 능력이 뛰어나며, 연령 레이블이 없거나 정확하지 않은 경우에도 가림 요소와 배경을 잘 유지한다.
• 공간 주의 메커니즘이 효과적으로 가짜 영역 잡음을 억제하고, 오직 연령 관련 영역만 수정함으로써 더 자연스럽고 사실적인 노화 효과를 생성한다.