[논문 리뷰] Facial Aging and Rejuvenation by Conditional Multi-Adversarial Autoencoder with Ordinal Regression

Haiping Zhu, Qi Zhou외 2명|arXiv (Cornell University)|2018. 04. 08.

Face recognition and analysis참고 문헌 20인용 수 15

한 줄 요약

이 논문은 얼굴 노화 및 청소년화를 위한 조건부 다중적대적 autoencoder와 순서 회귀를 결합한 CMAAE-OR을 제안한다. 이는 잠재 특징 표현과 연령 조절 생성을 활용하여 신원 유지와 연령 정확도를 동시에 최적화한다. 제안된 방법은 MORPH 데이터셋에서 평균 절대 오차(MAE) 1.48을 기록하며, 이는 이전 방법들보다 연령 추정 정확도와 사진 유사성에서 뛰어난 성능을 보이며, 이산적 연령 그룹을 초월한 임의의 연령으로의 얼굴 합성도 가능하게 한다.

ABSTRACT

Facial aging and facial rejuvenation analyze a given face photograph to predict a future look or estimate a past look of the person. To achieve this, it is critical to preserve human identity and the corresponding aging progression and regression with high accuracy. However, existing methods cannot simultaneously handle these two objectives well. We propose a novel generative adversarial network based approach, named the Conditional Multi-Adversarial AutoEncoder with Ordinal Regression (CMAAE-OR). It utilizes an age estimation technique to control the aging accuracy and takes a high-level feature representation to preserve personalized identity. Specifically, the face is first mapped to a latent vector through a convolutional encoder. The latent vector is then projected onto the face manifold conditional on the age through a deconvolutional generator. The latent vector preserves personalized face features and the age controls facial aging and rejuvenation. A discriminator and an ordinal regression are imposed on the encoder and the generator in tandem, making the generated face images to be more photorealistic while simultaneously exhibiting desirable aging effects. Besides, a high-level feature representation is utilized to preserve personalized identity of the generated face. Experiments on two benchmark datasets demonstrate appealing performance of the proposed method over the state-of-the-art.

연구 동기 및 목표

• 얼굴 노화 및 청소년화 과정에서 신원 일관성 유지와 높은 노화 정확도를 동시에 달성하기 위한 도전 과제를 해결하기 위해.
• 개인화된 신원을 간과하거나 정확한 연령 기반 얼굴 생성에 실패하는 기존 방법의 한계를 극복하기 위해.
• 사전에 정의된 이산적 연령 그룹에 제한되지 않고, 임의의 목표 연령에 대해 얼굴 이미지를 합성할 수 있도록 하기 위해.
• 적대적 학습과 순서 회귀를 통해 사진 유사성과 노화 효과의 정확성 향상을 위해.
• 사전 처리 없이도 안경, 자세, 가림 등 입력 변형에 대해 강건성을 확보하기 위해.

제안 방법

• 합성곱 인코더가 입력 얼굴 이미지에서 개인화된 신원 특징을 유지하는 잠재 특징 표현을 추출한다.
• 잠재 벡터가 목표 연령에 조건부된 디컨volution 제너레이터를 통해 얼굴 다양체에 투영되어 연령 제어가 가능한 생성이 가능해진다.
• 다중적대적 프레임워크는 사진 유사성을 향상시키기 위한 디스크림ิน레이터와 정확한 연령 추정을 강제하기 위한 별도의 순서 회귀 헤드를 포함한다.
• 모델는 네 가지 손실 구성 요소로 훈련된다: 연령 거리에 따라 가중치가 부여된 픽셀 수준의 재구성 손실, 사전 훈련된 특징 임bedding을 사용한 신원 손실, 현실감을 위한 GAN 손실, 연령 정확도를 위한 순서 회귀 손실.
• 순서 회귀 손실은 예측된 연령이 올바르게 순서가 지켜지고 목표 연령에 가까워지도록 보장하여 연령 추정 오차를 감소시킨다.
• 종합적으로 엔드 투 엔드 훈련을 통해 신원 유지, 연령 정확도, 시각적 현실감을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 생성 모델이 얼굴 합성 과정에서 동시에 높은 신원 유지와 정확한 연령 진행/청소년화를 달성할 수 있는가?
• RQ2 순서 회귀가 이산적 연령 그룹 예측을 초월하여 얼굴 노화 작업에서 연령 추정 정확도를 향상시킬 수 있는가?
• RQ3 연속적인 연령 값에 따라 제너레이터를 조건화하는 것이 이산적 연령 그룹 모델링보다 더 정밀하고 자연스러운 노화 효과를 만들어낼 수 있는가?
• RQ4 안경, 비면진 자세, 얼굴 가림과 같은 입력 변형에 대해 이 방법은 얼마나 강건한가?
• RQ5 제안된 프레임워크는 사전에 정의된 연령 그룹에 제한되지 않고, 임의의 목표 연령에 대해 사진 유사성 있는 얼굴을 생성할 수 있는가?

주요 결과

• 제안된 방법은 MORPH 데이터셋에서 평균 절대 오차(MAE) 1.48 ± 0.39를 기록하며, 순서 회귀를 포함하지 않은 베이스라인(10.42 ± 0.73)과 다른 최신 기술들보다 뚜렷이 뛰어난 성능을 보였다.
• FGNET 데이터셋에서는 MAE 3.62 ± 0.54를 달성하여, 더 도전적인 다양성과 미세한 연령 변화를 포함한 데이터셋에서도 뛰어난 성능을 입증했다.
• 순서 회귀(R)의 포함은 시각적 및 정량적 결과를 통해 노화 정확도를 크게 향상시켰으며, 더 명확하고 구분 가능한 연령 진행 효과를 보였다.
• 입력 얼굴에 안경, 비면진 자세 또는 가림이 포함되어 있어도 모델은 고해상도의 사진 유사성 있는 얼굴을 생성하며 최소한의 잡음으로 인한 오류 없이 강건성을 보였다. 사전 처리 없이도 성능이 유지되었다.
• 이 프레임워크는 이산적 연령 그룹에 국한되지 않고, 임의의 지정된 연령에 대해 얼굴을 합성할 수 있어 더 세밀하고 정확한 연령 예측이 가능하다.
• 제거 실험 결과, 순서 회귀 구성 요소가 연령 추정 오차 감소와 함께 생성된 얼굴의 현실감 및 정확도 향상에 핵심적인 역할을 한다는 것이 확인되었다.