[논문 리뷰] Transferring Rich Deep Features for Facial Beauty Prediction

Lu Xu, Jinhai Xiang외 1명|arXiv (Cornell University)|2018. 03. 20.

Face recognition and analysis참고 문헌 25인용 수 25

한 줄 요약

이 논문은 사전 훈련된 VGG 네트워크에서 유용한 딥 특징을 활용하여 얼굴 미적 평가를 위한 전이 학습 방법을 제안한다. 다양한 합성곱 레이어의 특징을 융합하고 베이지안 리지 회귀를 적용하여 성능을 향상시켰다. 이 방법은 ECCV HotOrNot 데이터셋에서 최신 기술 수준의 성능(피어슨 상관계수 0.468)을 달성하였고, SCUT-FBP에서도 유사한 결과를 보이며 딥 특징이 미적 인식 작업에서 효과적이고 해석 가능한 이유를 입증한다.

ABSTRACT

Feature extraction plays a significant part in computer vision tasks. In this paper, we propose a method which transfers rich deep features from a pretrained model on face verification task and feeds the features into Bayesian ridge regression algorithm for facial beauty prediction. We leverage the deep neural networks that extracts more abstract features from stacked layers. Through simple but effective feature fusion strategy, our method achieves improved or comparable performance on SCUT-FBP dataset and ECCV HotOrNot dataset. Our experiments demonstrate the effectiveness of the proposed method and clarify the inner interpretability of facial beauty perception.

연구 동기 및 목표

• 수동으로 설계된 기술적 특징이 아닌 사전 훈련된 모델에서 유래한 풍부한 딥 특징을 활용하여 얼굴의 미적 평가 성능을 향상시키는 것.
• 얼굴 인식 모델에서 유도한 딥 특징을 활용하여 전이 학습의 효과를 얼굴의 미적 인식 작업에서 검토하는 것.
• 다양한 합성곱 레이어 출력을 융합하는 새로운 특징 융합 전략을 통해 특징 표현을 향상시키는 것.
• 예측 오차 분석 및 영향력 있는 특징을 시각화하여 얼굴의 미적 인식의 해석 가능성을 제공하는 것.
• 특히 얼굴 정렬 기법을 포함한 전처리 기법이 예측 성능에 미치는 영향을 평가하는 것.

제안 방법

• 사전 훈련된 VGG-16 모델을 얼굴 인식 작업에 맞게 미세조정하여, 얼굴 이미지에서 계층적이고 추상적인 표현을 추출하는 데 깊이 있는 특징을 전이한다.
• conv5_2 및 conv5_3 레이어의 특징 맵을 연결하여 더 정보가 풍부하고 고수준의 특징 벡터를 형성한다.
• 결합된 특징 맵을 평탄화하여 회귀 모델의 입력으로 사용하는 간단하지만 효과적인 특징 융합 전략을 적용한다.
• 융합된 딥 특징을 기반으로 베이지안 리지 회귀 모델을 훈련하여 연속적인 얼굴의 미적 평가 점수를 예측한다.
• 두 가지 전처리 전략을 구현한다: Solution A는 68개의 랜드마크 검출 및 회전 보정을 통한 얼굴 정렬을 포함하며, Solution B는 평균 제거 및 표준편차 정규화만 적용한다.
• 예측 편향 분석 및 잘못 분류된 샘플(ε ≥ 2.75)과 잘 맞는 샘플(ε ≤ 0.02)을 식별하기 위해 오차 지표 ε = |y^i − y^i|를 사용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 얼굴 인식 모델에서 전이된 딥 특징이 기존의 수동으로 설계된 특징(예: HOG, LBP)보다 얼굴의 미적 평가에서 더 우수한 성능을 내는가?
• RQ2 여러 합성곱 레이어의 특징 융합이 단일 레이어 특징을 사용하는 것보다 성능 향상에 기여하는가?
• RQ3 얼굴 정렬 및 전처리 기법이 모델의 예측 정확도에 미치는 영향은 어떠한가?
• RQ4 베이지안 리지 회귀가 딥 특징과 얼굴의 미적 평가 점수 간의 관계를 얼마나 효과적으로 모델링할 수 있는가?
• RQ5 특징 시각화 및 오차 분석을 통해 어떤 얼굴 특징이나 영역이 미적 인식에 가장 영향을 미치는가?

주요 결과

• 제안된 방법은 ECCV HotOrNot 데이터셋에서 피어슨 상관계수 0.468을 달성하여, 오토에인코드어 및 다중 해상도 모델을 포함한 비교한 모든 최신 기술 수준의 방법들을 능가한다.
• Solution B(얼굴 정렬 미적용)는 Solution A(정렬 포함)보다 유의미하게 뛰어나며, RMSE(0.9036 vs. 0.9466), MAE(1.1343 vs. 1.1962), PC(0.4679 vs. 0.3918)에서 더 낮은 오차와 높은 상관계수를 기록하여, 옷차림, 자세와 같은 비얼굴적 요소가 미적 평가에 영향을 미칠 수 있음을 시사한다.
• 작은 예측 오차(ε ≤ 0.02)를 보이는 샘플에서 모델이 가장 잘 성능을 내며, 잘 평가된 얼굴에 대해 강력한 피팅 능력을 보이고, 높은 오차(ε ≥ 2.75)는 복잡하거나 모호한 미적 인식을 포착하지 못하는 한계를 드러낸다.
• 절단 실험 결과, conv5_2 및 conv5_3 레이어의 특징 융합이 표현 품질을 향상시키고 단일 레이어 특징보다 성능 향상을 이끌어낸다.
• 예측 오차 시각화 결과, 자세, 표정, 비얼굴적 특징이 미적 인식에 상당한 영향을 미치며, 적절한 정렬 없이선 모델이 이를 포착하지 못하는 것으로 나타났다.
• 베이지안 리지 회귀의 사용은 낮은 분산을 가진 안정적인 회귀를 가능하게 하며, 광범위한 데이터셋에 대해 광범위한 미세조정 없이도 잘 일반화됨을 보였다.