[논문 리뷰] Predicting Social Perception from Faces: A Deep Learning Approach

Uwe Messer, Stefan Faußer|arXiv (Cornell University)|2019. 06. 29.

Evolutionary Psychology and Human Behavior참고 문헌 31인용 수 4

한 줄 요약

이 논문은 얼굴 이미지에서 인간의 온기와 능력에 대한 인식을 예측하기 위해 딥 컨volution 신경망과 Grad-CAM을 사용하는 딥러닝 접근법을 제안한다. 모델은 온기 예측에서 90%의 정확도, 능력 예측에서 80%의 정확도를 달성하며, 이러한 판단을 이끄는 주요 얼굴 부위를 특정한다.

ABSTRACT

Warmth and competence represent the fundamental traits in social judgment that determine emotional reactions and behavioral intentions towards social targets. This research investigates whether an algorithm can learn visual representations of social categorization and accurately predict human perceivers' impressions of warmth and competence in face images. In addition, this research unravels which areas of a face are important for the classification of warmth and competence. We use Deep Convolutional Neural Networks to extract features from face images and the Gradient-weighted Class Activation Mapping (Grad CAM) method to understand the importance of face regions for the classification. Given a single face image the trained algorithm could correctly predict warmth impressions with an accuracy of about 90% and competence impressions with an accuracy of about 80%. The findings have implications for the automated processing of faces and the design of artificial characters.

연구 동기 및 목표

• 딥러닝 모델이 얼굴 이미지에서 인간의 사회적 인식인 온기와 능력에 대해 정확하게 예측할 수 있는지 조사하기.
• 설명 가능한 AI 기법을 활용해 온기와 능력에 대한 인식에 가장 기여하는 얼굴 부위를 규명하기.
• 심리학적 및 AI 적용을 위해 해석 가능성을 갖춘 자동화된 사회적 인식 예측 시스템을 개발하기.
• 시각적 특징을 기반으로 얼굴에서 기본적인 사회적 판단 차원을 모델링할 수 있는지 탐색하기.
• 시각적 단서가 얼굴 인식에서 어떻게 작용하는지 이해함으로써 사회적으로 지능적인 인공 에이전트 설계에 기여하기.

제안 방법

• 사회적 인식 표현을 학습하기 위해 얼굴 이미지에서 딥 컨volution 신경망(DCNNs)을 훈련한다.
• 예측에 가장 영향을 미치는 얼굴 부위를 시각화하고 해석하기 위해 기울기 가중치 클래스 활성화 맵(Grad-CAM) 기법을 활용한다.
• 인간이 애너테이션한 사회적 인식 점수를 기반으로 온기와 능력 예측을 위한 별도의 모델을 훈련한다.
• 사전 훈련된 CNN 아키텍처를 사용해 얼굴 이미지에서 깊이 있는 특징을 추출한 후, 사회적 인식 데이터셋에서 미세조정을 수행한다.
• 과적합을 방지하고 일반화 성능을 향상시키기 위해 훈련 중에 L2 정규화와 드롭아웃을 적용한다.
• 성능을 모니터링하고 평가를 위한 최적의 모델을 선택하기 위해 검증 세트를 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 얼굴 이미지에서 인간의 온기 인식을 정확하게 예측할 수 있는가?
• RQ2 딥러닝 모델은 얼굴 이미지에서 인간의 능력 인식을 정확하게 예측할 수 있는가?
• RQ3 어느 얼굴 부위가 인식된 온기와 능력에 가장 예측 가능성이 높은가?
• RQ4 모델이 학습한 시각적 특징이 인간이 특정한 사회적 인식 단서로 인식한 것과 얼마나 일치하는가?
• RQ5 설명 가능한 AI 기법인 Grad-CAM이 사회적 인식 작업에서 모델의 의사결정 과정을 어느 정도 드러낼 수 있는가?

주요 결과

• 모델은 단일 얼굴 이미지에서 온기 인식 예측 정확도 약 90%를 달성했다.
• 모델은 단일 얼굴 이미지에서 능력 인식 예측 정확도 약 80%를 달성했다.
• Grad-CAM 분석 결과, 온기 예측에 가장 중요한 요소는 눈과 입 부위였고, 능력 예측에선 눈과 눈썹 부위가 핵심이었다.
• 눈 모양, 시선 방향, 입 끝의 굽음 정도와 같은 얼굴 특징이 사회적 인식 판단에서 일관되게 중요한 요소로 확인되었다.
• 모델는 다양한 얼굴 이미지에 대해 강력한 일반화 능력을 보였으며, 깊이 있는 특징이 의미 있는 사회적 단서를 포착하고 있음을 시사했다.
• 결과적으로 딥러닝은 시각 입력만으로도 사회적 인식의 기본 차원을 효과적으로 모델링할 수 있음을 시사한다.