[논문 리뷰] Soft-ranking Label Encoding for Robust Facial Age Estimation

Xusheng Zeng, Changxing Ding외 2명|arXiv (Cornell University)|2019. 06. 09.

Face recognition and analysis참고 문헌 60인용 수 8

한 줄 요약

이 논문은 나이의 순서적 성질과 인접 연령 간 상관관계를 함께 모델링하는 새로운 나이 인코딩 방법인 소프트랭킹 레이블 인코딩을 제안한다. 이는 딥러닝의 정규화를 향상시키며, 경량의 마스크아웃 정규화 전략과 조합하여 Morph II, CLAP2015, CLAP2016에서 최신 기술 수준(SOTA) 성능을 달성한다. 단일 네트워크로도 CLAP2016에서 이전의 앙상블 모델을 능가한다.

ABSTRACT

Automatic facial age estimation can be used in a wide range of real-world applications. However, this process is challenging due to the randomness and slowness of the aging process. Accordingly, in this paper, we propose a comprehensive framework aimed at overcoming the challenges associated with facial age estimation. First, we propose a novel age encoding method, referred to as 'Soft-ranking', which encodes two important properties of facial age, i.e., the ordinal property and the correlation between adjacent ages. Therefore, Soft-ranking provides a richer supervision signal for training deep models. Moreover, we also carefully analyze existing evaluation protocols for age estimation, finding that the overlap in identity between the training and testing sets affects the relative performance of different age encoding methods. Finally, since existing face databases for age estimation are generally small, deep models tend to suffer from an overfitting problem. To address this issue, we propose a novel regularization strategy to encourage deep models to learn more robust features from facial parts for age estimation purposes. Extensive experiments indicate that the proposed techniques improve the age estimation performance; moreover, we achieve state-of-the-art performance on the three most popular age databases, $i.e.$, Morph II, CLAP2015, and CLAP2016.

연구 동기 및 목표

• 얼굴 나이 추정의 과제를 해결하기 위해, 나이가 무작위로 느리게 변하는 경향과 작은, 과적합이 쉬운 데이터셋의 문제를 다룬다.
• 얼굴 노화 과정에서의 순서적 관계와 연령 간 상관관계를 모두 반영하는 통합된 나이 인코딩 방법을 개발한다.
• 제한된 나이 데이터베이스에서 학습된 딥 모델의 과적합을 효율적인, 추론 시 비용이 들지 않는 정규화 전략을 통해 줄인다.
• 학습 및 테스트 세트 간 신원 오버랩으로 인해 기존 평가 프로토콜에 발생하는 편향을 규명하고 수정한다.
• 공개된 데이터만을 사용하여 표준 얼굴 나이 추정 벤치마크에서 최신 기술 수준 성능을 달성한다.

제안 방법

• 소프트랭킹은 각 요소가 특정 나이 이하일 가능성을 나타내는 확률 벡터로 나이를 인코딩하여, 자연스럽게 순서성과 연령 간 상관관계를 반영한다.
• 이 방법은 하드 랭킹이나 원핫 인코딩과 달리, 인접한 연령 그룹 간 점진적인 전이를 소프트 레이블로 모델링한다.
• 마스크아웃 정규화는 훈련 중에 이미지 패치를 잘라내어 국소적인 얼굴 부분에서의 강건한 특징 학습을 유도하는 보조 과제를 도입한다.
• 마스크아웃은 훈련 중에만 적용되며 추론 시 제거되어, 테스트 시 계산 오버헤드가 발생하지 않는다.
• 프레임워크는 소프트랭킹을 주요 정규화 신호로, 마스크아웃을 정규화 기법으로 통합된 딥러닝 파이프라인에 통합한다.
• 실험은 ResNet-34와 VGG-16 백본을 사용하여 수행되었으며, 각 구성 요소의 기여도를 검증하기 위한 분석 연구가 실시되었다.

실험 결과

연구 질문

• RQ1 순서성과 연령 간 상관관계를 동시에 모델링하는 통합 나이 인코딩 방법이 얼굴 나이 추정 성능을 향상시킬 수 있는가?
• RQ2 패치 기반 정규화 전략인 마스크아웃은 추론 비용을 증가시키지 않고 과적합을 효과적으로 줄일 수 있는가?
• RQ3 학습 및 테스트 세트 간의 신원 오버랩은 나이 추정 방법 평가에 어떤 영향을 미치는가?
• RQ4 공개 데이터만을 사용하는 단일 딥 모델이 사전 데이터를 사용하거나 앙상블 기반 방법을 능가할 수 있는가?
• RQ5 기존의 인코딩 전략(예: 원핫, 순서형, 랭킹 기반 레이블)보다 소프트랭킹이 더 효과적인가?

주요 결과

• RS 프로토콜 하에서 Morph II 데이터베이스에서 소프트랭킹은 평균 절대 오차(MAE) 1.69를 기록하여, 사전 훈련을 사용한 이전 방법들 모두를 능가했다.
• CLAP2015에서 제안된 방법은 ε-오차 0.244를 달성하여, 이전 SOTA 방법(AL-RoR-34 ∗)보다 0.012 향상되었다.
• CLAP2016에서 방법은 ε-오차 0.232를 기록하여, 단일 모델 기반으로는 새로운 SOTA 기록을 수립했으며, 다중 모델 앙상블 방법조차도 능가했다.
• 마스크아웃 정규화는 과적합을 줄이고 일반화 성능을 향상시켰으며, 특히 작은 데이터셋에서 뚜렷한 성과 향상을 보였다.
• 실험적으로 학습 및 테스트 세트 간의 신원 오버랩이 특정 인코딩 방법에 유리하게 작용하여 잘못된 성능 비교를 유도할 수 있음을 입증했다.
• 아블레이션 연구를 통해 소프트랭킹과 마스크아웃 모두 성능 향상에 기여하며, 두 요소의 조합이 가장 우수한 결과를 도출함을 확인했다.