[논문 리뷰] A new humanlike facial attractiveness predictor with cascaded fine-tuning deep learning model

Jie Xu, Lianwen Jin외 3명|arXiv (Cornell University)|2015. 11. 08.

Evolutionary Psychology and Human Behavior참고 문헌 21인용 수 37

한 줄 요약

이 논문은 RGB, 세부 정보, 조명 층과 같은 다중 채널 얼굴 입력을 처리하기 위해 대용량 입력 크기와 작은 커널을 사용하는 깊은 합성곱 신경망을 활용한 계단식 미세조정 딥러닝 모델을 제안한다. 이 모델은 인간 평가와 상관관계가 0.88에 이를 정도로 높으며, 미적 감각에서 얼굴의 매끄러움, 밝기, 색상의 중요성을 입증한다.

ABSTRACT

This paper proposes a deep leaning method to address the challenging facial attractiveness prediction problem. The method constructs a convolutional neural network of facial beauty prediction using a new deep cascaded fine-turning scheme with various face inputting channels, such as the original RGB face image, the detail layer image, and the lighting layer image. With a carefully designed CNN model of deep structure, large input size and small convolutional kernels, we have achieved a high prediction correlation of 0.88. This result convinces us that the problem of facial attractiveness prediction can be solved by deep learning approach, and it also shows the important roles of the facial smoothness, lightness, and color information that were involved in facial beauty perception, which is consistent with the result of recent psychology studies. Furthermore, we analyze the high-level features learnt by CNN through visualization of its hidden layers, and some interesting phenomena were observed. It is found that the contours and appearance of facial features, especially eyes and moth, are the most significant facial attributes for facial attractiveness prediction, which is also consistent with the visual perception intuition of human.

연구 동기 및 목표

• 인간의 인식을 모방하는 딥러닝 기반의 얼굴 미적도 예측 모델을 개발하기 위해.
• 다중 채널 얼굴 입력(_RGB, 세부 정보, 조명 층_)이 미적도 예측에 미치는 영향을 조사하기 위해.
• CNN이 학습한 고수준 특징을 분석하여 어떤 얼굴 특징이 미적 판단을 이끄는지 이해하기 위해.
• 모델의 성능을 인간이 라벨링한 미적도 점수와 비교하여 검증하기 위해.
• 학습된 특징이 얼굴 미적 감각에 관한 심리학적 연구 결과와 얼마나 일치하는지 탐색하기 위해.

제안 방법

• 모델는 대용량 입력 크기와 작은 합성곱 커널을 사용하는 깊은 합성곱 신경망(CNN)을 활용하여 세밀한 얼굴 특징을 포착한다.
• 원본 RGB, 세부 정보 층, 조명 층과 같은 다양한 얼굴 입력 채널에 점진적으로 적응하기 위해 계단식 미세조정 전략을 사용한다.
• 입력 채널은 별도로 처리된 후 융합되어 미적도 예측을 위한 특징 표현을 향상시킨다.
• 모델는 인간이 라벨링한 미적도 점수를 지표로 삼아 지도 학습을 통해 엔드 투 엔드로 훈련된다.
• 고수준 특징는 은닉층의 활성화 맵을 시각화하여 학습된 얼굴 특징를 해석한다.
• 모델는 예측된 점수와 인간이 라벨링한 미적도 점수 간의 개인별 상관관계를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 다중 채널 얼굴 입력(RGB, 세부 정보, 조명)이 딥러닝 기반의 미적도 예측 성능에 어떤 영향을 미치는가?
• RQ2 학습된 CNN 표현에 따르면 어떤 얼굴 특징가 가장 예측력 있는가?
• RQ3 모델의 성능이 인간의 얼굴 미적 감각 평가와 얼마나 상관관계가 있는가?
• RQ4 CNN이 학습한 고수준 특징가 알려진 심리학적 원칙(얼굴의 미적 감각)과 일치하는가?
• RQ5 계단식 미세조정 전략이 관련 얼굴 특징을 추출하는 데 모델의 능력을 향상시키는가?

주요 결과

• 제안된 모델는 예측된 점수와 인간이 라벨링한 미적도 점수 간에 개인별 상관관계가 0.88에 이를 정도로 높아 인간 인식과 강한 일치를 보인다.
• 세부 정보 층과 조명 층 입력을 포함함으로써 RGB만 사용하는 경우에 비해 예측 성능이 크게 향상된다.
• 은닉층의 시각화 결과, 얼굴 윤곽과 특징—특히 눈과 입—이 미적도 예측에 가장 두드러진 특징임을 확인할 수 있다.
• 모델가 학습한 특징는 얼굴의 매끄러움, 밝기, 색상이 미적 감각에서 핵심 요소로 강조된 심리학 연구 결과와 일치한다.
• 계단식 미세조정 전략은 네트워크를 다양한 얼굴 표현 방식에 점진적으로 적응시킴으로써 특징 학습을 향상시킨다.
• 결과적으로 딥러닝이 구조적이고 다중 채널 입력을 사용하여 인간과 유사한 얼굴의 미적도 판단을 효과적으로 모델링할 수 있음을 확인한다.