[논문 리뷰] Learning to see people like people

Amanda Song, Linjie Li외 2명|arXiv (Cornell University)|2017. 05. 05.

Evolutionary Psychology and Human Behavior참고 문헌 14인용 수 5

한 줄 요약

이 논문은 10,000명의 미국 성인 얼굴 데이터베이스를 기반으로 사전 훈련된 신경망을 활용하여 신뢰성, 매력도, 우호도와 같은 얼굴 특성에 대한 인간의 주관적 평가를 예측하는 딥러닝 접근법을 제안한다. 주로 VGG-16의 conv5_2 레이어에서 추출한 주성분 분석(PCA) 처리된 특징을 사용하는 지도형 릿지 회귀 모델이 인간 평가자 간의 상관관계를 초월하여 평균 인간 평가와 더 높은 상관관계를 보이며, 특히 높은 공감대를 형성하는 특성에서 뛰어난 성능을 보인다.

ABSTRACT

Humans make complex inferences on faces, ranging from objective properties (gender, ethnicity, expression, age, identity, etc) to subjective judgments (facial attractiveness, trustworthiness, sociability, friendliness, etc). While the objective aspects of face perception have been extensively studied, relatively fewer computational models have been developed for the social impressions of faces. Bridging this gap, we develop a method to predict human impressions of faces in 40 subjective social dimensions, using deep representations from state-of-the-art neural networks. We find that model performance grows as the human consensus on a face trait increases, and that model predictions outperform human groups in correlation with human averages. This illustrates the learnability of subjective social perception of faces, especially when there is high human consensus. Our system can be used to decide which photographs from a personal collection will make the best impression. The results are significant for the field of social robotics, demonstrating that robots can learn the subjective judgments defining the underlying fabric of human interaction.

연구 동기 및 목표

• 얼굴에 대한 주관적 사회적 인식, 예를 들어 신뢰성, 매력도, 우호도를 모델링하고 예측하는 것. 이러한 특성들은 인간 상호작용에서 매우 중요하지만 컴퓨터 비전 분야에서는 아직 탐색이 부족한 분야이다.
• 객체 및 얼굴 인식 작업에서 훈련된 딥 뉴럴 네트워크 표현이, 미묘한 공감대 기반의 인간 평가를 일반화하여 포괄할 수 있는지 조사하는 것.
• 40개의 얼굴 특성에 대해 인간의 사회적 인식 일致성 수준을 평가하고, 이러한 주관적이고 집단 평가 기반 데이터로부터 기계 학습 모델이 얼마나 잘 학습할 수 있는지 평가하는 것.
• 특정 사회적 특성에 대해 예측을 이끄는 신경망 내부 표현을 시각화하고 해석함으로써 모델의 해석 가능성 향상.
• 딥러닝을 활용해 인간과 유사한 사회적 판단을 예측하는 벤치마크를 수립하고, 사회적 로봇 및 편향 탐지 등에 적용하는 것.

제안 방법

• 10,000명의 미국 성인 얼굴 데이터베이스를 사용하여, 사회적 인식 예측을 위해 최신의 6개의 사전 훈련된 합성곱 신경망(예: VGG-16, ResNet)을 미세조정한다.
• VGG-16의 conv5_2 레이어에서 특징을 추출하고, 차원 감소를 위해 주성분 분석(PCA)을 적용한 후, 지도형 릿지 회귀를 사용하여 인간 평가를 예측한다.
• 예측 평가에 대해 40개의 사회적 특성에 걸쳐 예측 평가와 평균 인간 평가 간 피어슨 상관계수를 사용하여 모델 성능을 평가한다.
• 반복적인 무작위 랜더 분할을 통해 평가자들을 두 그룹으로 나누어 평가자 간 상관계수를 계산함으로써 인간의 공감대 수준을 평가하고, 인간 간 일치성의 기준을 확립한다.
• 특정 뉴런의 활성화를 최대화하기 위해 기울기 기반 최적화를 사용하여 주목할 만한 얼굴 특징을 시각화함으로써, 각 특성의 인식을 이끄는 이미지 패턴을 규명한다.
• 동일한 평가 프로토콜을 사용하여 인간 평가자 간 신뢰도와 비교함으로써 공정한 비교를 수행한다.

실험 결과

연구 질문

• RQ1 객체 및 얼굴 인식 작업에서 훈련된 딥 뉴럴 네트워크 표현이 인간의 주관적 얼굴 특성 평가를 일반화하여 예측할 수 있는가?
• RQ2 얼굴 특성에 대한 인간의 공감대 수준이 기계 학습 모델의 해당 특성 예측 성능에 어떤 영향을 미치는가?
• RQ3 기계 모델이 평균 인간 평가와의 상관계수에서 인간 평가자 간 상관계수를 초월할 정도로 높은 성능을 보일 수 있는가?
• RQ4 신경망이 신뢰성이나 매력도와 같은 다양한 사회적 특성에 대해 어떤 시각적 패턴이나 얼굴 특징을 학습하여 표현하는가?
• RQ5 생성 시각화 기법을 통해 인간의 얼굴 사회적 인식을 뒷받침하는 해석 가능한 고수준의 얼굴 단서를 드러낼 수 있는가?

주요 결과

• 모델은 모든 40개의 사회적 특성에 대해 인간 평가자 간 상관계수를 초월하여 평균 인간 평가와 더 높은 상관관계를 보였으며, 이는 주관적 인식 예측에서 뛰어난 일관성을 보임을 입증한다.
• 모델 성능은 인간의 공감대 수준과 강하게 상관관계가 있다: 높은 평가자 간 일치도(예: 신뢰성, 매력도)를 보이는 특성일수록 모델의 예측 정확도도 높아진다.
• VGG-16의 conv5_2 레이어에 PCA와 릿지 회귀를 조합한 조합이 최고의 성능을 보였으며, 이는 얼굴 매력도 예측에서 인간 평가와 상관계수 0.75를 기록했다.
• 모델의 상관계수가 가장 높은 특성은 '행복한'이었으며(0.82), 이는 기분 표현이 일관되게 인식되고 모델링하기 쉬운 특성임을 반영한다.
• ‘사회적인’(인간 공감대 0.74)과 ‘내향적인’(0.50) 특성 간에 뚜렷한 비대칭성이 나타나, 이들이 단순한 반대 개념이 아니라는 점을 시사하며 사회심리학의 기존 가정에 도전한다.
• 최적화된 입력을 시각화한 결과, 모델이 눈, 코, 볼, 얼굴 윤곽 등의 핵심 얼굴 영역에 집중하고 있음을 확인하였으며, 이는 인간의 사회적 판단에 영향을 주는 주요 시각적 단서와 일치한다.