[논문 리뷰] Recursive Chaining of Reversible Image-to-image Translators For Face Aging

Ari Heljakka, Arno Solin외 1명|arXiv (Cornell University)|2018. 02. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 8

한 줄 요약

이 논문은 쌍화된 훈련 데이터 없이 다수의 연령 단계를 거쳐 점진적인 얼굴 노화를 모델링하기 위해 가역 GAN 기반의 이미지 간 번역기들을 순환 연결하는 프레임워크를 제안한다. 연속적인 연령 전이(예: 25→35세) 동안 최적화된 트랜스포머를 재사용함으로써(예: 25→35 트랜스포머를 35→45에 재사용) 성능 손실를 최소화하면서 모델 압축을 달성하며, 이는 하위 4.5% 평균 연령 추정 오차를 동반한 정확하고 해석 가능하며 시각적으로 현실적인 노화 시뮬레이션을 가능하게 한다.

ABSTRACT

This paper addresses the modeling and simulation of progressive changes over time, such as human face aging. By treating the age phases as a sequence of image domains, we construct a chain of transformers that map images from one age domain to the next. Leveraging recent adversarial image translation methods, our approach requires no training samples of the same individual at different ages. Here, the model must be flexible enough to translate a child face to a young adult, and all the way through the adulthood to old age. We find that some transformers in the chain can be recursively applied on their own output to cover multiple phases, compressing the chain. The structure of the chain also unearths information about the underlying physical process. We demonstrate the performance of our method with precise and intuitive metrics, and visually match with the face aging state-of-the-art.

연구 동기 및 목표

• 이산적인 연령 영역 간의 이미지 간 번역으로서의 점진적 얼굴 노화를 모델링하기 위해.
• 동일 개인의 서로 다른 연령에서의 쌍화된 훈련 데이터가 필요 없도록 하기 위해.
• 모델 체인의 압축을 위해 훈련된 트랜스포머를 다수의 연령 전이에 걸쳐 순환적으로 재사용할 수 있도록 하기 위해.
• 체인 내에서 재사용 가능한 트랜스포머를 분석함으로써 해석 가능한 발달 패턴을 밝혀내기 위해.
• 이식 학습과 보조 연령 추정을 통해 성능 저하를 최소화하면서 고해상도 얼굴 노화를 실현하기 위해.

제안 방법

• 각각 인접한 연령 영역 간을 매핑하는(예: 25→35세) 가역 GAN 기반의 이미지 간 번역기들로 이루어진 체인을 구축하기 위해.
• 쌍화되지 않은 이미지 간 번역을 사용하고 사이클 일관성 GAN을 적용하여 쌍화된 데이터 없이도 연령 영역 간의 가역적 매핑을 학습하기 위해.
• 성능 평가 및 체인 압축을 위한 메타훈련을 유도하기 위해 보조 얼굴 연령 추정기를 도입하기 위해.
• 최고의 성능을 보인 트랜스포머(예: 25→35)를 여러 전이(예: 35→45)에 걸쳐 재사용하여 전체 체인의 압축을 달성하기 위해.
• 생성기의 가역성을 활용하여 명시적 신원 정규화 없이도 신원을 암묵적으로 유지하기 위해.
• 선택된 트랜스포머를 다수의 전이에 걸쳐 재훈련하는 메타훈련 기반의 설계를 통해 순환적 재사용이 가능하게 하며, 정확도 저하를 최소화하기 위해.

실험 결과

연구 질문

• RQ1 가역 GAN 기반 번역기 체인은 쌍화되지 않은 다수의 연령 영역 간에서 점진적 얼굴 노화를 모델링할 수 있는가?
• RQ2 개별 트랜스포머가 다수의 전이에 걸쳐 순환적으로 재사용될 수 있는 정도는 어느 정도이며, 이는 전체 변환 체인의 압축에 얼마나 기여하는가?
• RQ3 보조 연령 추정기가 체인 내 트랜스포머의 선택 및 재사용성 향상에 어떻게 기여하는가?
• RQ4 체인의 구조는 얼굴 노화의 해석 가능한 고수준 발달 패턴을 드러낼 수 있는가?
• RQ5 순환적 트랜스포머 재사용을 통한 체인 압축이 연령 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• 체인 압축 후 검증 세트에서 평균 연령 추정 오차가 4.5% 미만(최대 3.2년)으로 도달하였다.
• 압축으로 인한 성능 저하는 미미하였으며, 연령 그룹 간 연령 추정 오차의 표준편차는 2.4에서 5.6 사이로 변동하였다.
• 단일 트랜스포머(예: 25→35)를 여러 전이(예: 35→45)에 걸쳐 성공적으로 재사용하여 필요한 모델 수를 감소시켰다.
• 보조 연령 추정기는 훈련 진행 상황을 일관되게 반영하였으며, backpropagation 없이도 재사용 가능한 트랜스포머의 효과적 선택을 가능케 하였다.
• 시각적 결과는 현실성과 단계 간 변형의 다양성 측면에서 최신 기술을 뛰어넘거나 이를 충족시켰다.
• 순환 체인 구조는 미세한 변화에도 불구하고 주름 형성과 같은 체계적이고 해석 가능한 발달 패턴을 드러내었다.