[논문 리뷰] ComboLoss for Facial Attractiveness Analysis with Squeeze-and-Excitation Networks

Lu Xu, Jinhai Xiang|arXiv (Cornell University)|2020. 10. 21.

Face recognition and analysis참고 문헌 21인용 수 8

한 줄 요약

이 논문은 L1 회귀 손실, 가중치가 부여된 교차 엔트로피 분류 손실, 기대 손실을 조합한 새로운 다성분 손실 함수인 ComboLoss를 제안한다. 이는 얼굴의 매력도 예측 성능을 향상시키기 위한 것이다. SEResNeXt50 네트워크를 ComboLoss로 훈련시켜 SCUT-FBP, HotOrNot, SCUT-FBP5500에서 최신 기술 수준의 성능을 달성하였으며, 이전 방법 대비 각각 피어슨 상관계수(PC)를 1.13%, 2.1%, 0.57% 향상시켰다. 파라미터 증가율은 극히 미미하다.

ABSTRACT

Loss function is crucial for model training and feature representation learning, conventional models usually regard facial attractiveness recognition task as a regression problem, and adopt MSE loss or Huber variant loss as supervision to train a deep convolutional neural network (CNN) to predict facial attractiveness score. Little work has been done to systematically compare the performance of diverse loss functions. In this paper, we firstly systematically analyze model performance under diverse loss functions. Then a novel loss function named ComboLoss is proposed to guide the SEResNeXt50 network. The proposed method achieves state-of-the-art performance on SCUT-FBP, HotOrNot and SCUT-FBP5500 datasets with an improvement of 1.13%, 2.1% and 0.57% compared with prior arts, respectively. Code and models are available at https://github.com/lucasxlu/ComboLoss.git.

연구 동기 및 목표

• 깊이 있는 CNN 기반 얼굴의 매력도 예측에서 다양한 손실 함수의 영향을 체계적으로 평가하는 것.
• 추가적인 하위망을 추가하지 않고도 경량이면서도 효과적인 손실 함수를 개발하는 것.
• 동시에 회귀 및 분류 신호를 활용하여 얼굴의 매력도 회귀 성능을 향상시키는 것.
• 사전 훈련이나 복잡한 아키텍처에 의존하지 않고 기준 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• ComboLoss는 세 가지 손실 구성요소를 조합한다: 직접 점수 예측을 위한 L1 회귀 손실, 매력적인 얼굴와 그렇지 않은 얼굴를 구분하기 위한 가중치가 부여된 교차 엔트로피 분류 손실, 그리고 각 클래스의 평균 예측을 모델링하기 위한 기대 손실.
• 분류 헤드는 SEResNeXt50의 최종 레이어 이전에 추가되어, 회귀 및 분류 브랜치를 통해 기울기 전파가 가능하도록 한다.
• 얼굴의 매력도 점수 예측에서 외곽치에 대한 민감도를 줄이기 위해 MSE 대신 L1 손실을 사용한다.
• 교차 엔트로피 손실의 클래스 가중치는 매력도 평가에서의 클래스 불균형을 보완하기 위해 최적화된다.
• 통합된 손실는 훈련 중에 엔드 투 엔드로 최소화되어, 네트워크가 더 견고하고 구분력 있는 특징을 학습하도록 한다.
• 추가적인 하위망 없이 SEResNeXt50에 적용되었으며, 이로 인해 파라미터 증가율이 0.037% 미만이었다.

실험 결과

연구 질문

• RQ1 다양한 손실 함수는 깊이 있는 CNN의 얼굴의 매력도 예측 성능에 어떤 영향을 미치는가?
• RQ2 간단한 다성분 손실 함수는 추가적인 네트워크 파라미터 없이 성능 향상에 기여할 수 있는가?
• RQ3 회귀, 분류, 기대 supervision을 조합하면 얼굴의 매력도 분석에서 더 나은 특징 표현이 가능한가?
• RQ4 SCUT-FBP, HotOrNot, SCUT-FBP5500와 같은 표준 벤치마크에서 ComboLoss는 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• SCUT-FBP에서 ComboLoss는 피어슨 상관계수(PC) 0.9090을 달성하여 이전 최신 기술 수준(0.8723)보다 1.13% 향상되었다.
• HotOrNot 데이터셋에서 ComboLoss는 PC 0.503을 기록하여 이전 최고 성능(0.482)보다 2.1% 향상되었다.
• SCUT-FBP5500에서 ComboLoss는 PC 0.9199를 달성하여 이전 최신 기술 수준(0.9142)보다 0.57% 향상되었다.
• 절단 실험 결과, MAE, RMSE, PC 측면에서 ComboLoss는 MSE, L1, smooth L1, smooth Huber 손실보다 뛰어난 성능을 보였다.
• 더 단순한 ResNet18 백본을 사용한 경우에도 ComboLoss는 MSE 손실로 훈련된 강력한 SEResNeXt50보다 PC 0.9041을 기록하여 승리했다(비교 모델 PC 0.9008).
• 다양한 백본에서 ComboLoss의 성능 향상은 일관되게 나타나, 특정 아키텍처에 국한되지 않는 일반화 능력과 효과성을 입증한다.