[논문 리뷰] First Impressions: A Survey on Vision-Based Apparent Personality Trait Analysis

Julio C. S. Jacques, Yağmur Güçlütürk외 9명|arXiv (Cornell University)|2018. 04. 21.

Personality Traits and Psychology참고 문헌 116인용 수 26

한 줄 요약

이 종합 검토는 컴퓨터 시각과 기계 학습을 활용하여 얼굴, 신체, 행동적 신호를 사용해 성격 특성(특히 OCEAN, 즉 다섯 가지 핵심 특성)을 추론하는 시각 기반 외형 성격 특성 분석에 대해 고전적이고 최신의 연구를 종합적으로 다룹니다. 주요 기여는 방법론, 데이터셋, 과제 및 향후 연구 방향에 대한 체계적인 분석으로, 특히 레이블링의 주관성, 다중모달 융합, 첫인상에 대한 엔드 투 엔드 모델링을 위한 딥 러닝의 잠재력에 중점을 두고 있습니다.

ABSTRACT

Personality analysis has been widely studied in psychology, neuropsychology, and signal processing fields, among others. From the past few years, it also became an attractive research area in visual computing. From the computational point of view, by far speech and text have been the most considered cues of information for analyzing personality. However, recently there has been an increasing interest from the computer vision community in analyzing personality from visual data. Recent computer vision approaches are able to accurately analyze human faces, body postures and behaviors, and use these information to infer apparent personality traits. Because of the overwhelming research interest in this topic, and of the potential impact that this sort of methods could have in society, we present in this paper an up-to-date review of existing vision-based approaches for apparent personality trait recognition. We describe seminal and cutting edge works on the subject, discussing and comparing their distinctive features and limitations. Future venues of research in the field are identified and discussed. Furthermore, aspects on the subjectivity in data labeling/evaluation, as well as current datasets and challenges organized to push the research on the field are reviewed.

연구 동기 및 목표

• 시각 기반 접근법을 통한 외형 성격 특성 인식에 대한 종합적이고 최신의 검토를 제공하기 위해.
• 시각 데이터에서 성격 인식에 대한 기존의 계산 방법의 강점, 한계 및 특징을 분석하기 위해.
• 데이터 레이블링, 주관성, 편향과 같은 핵심 과제를 규명하고, 현재 공개된 데이터셋과 과제를 평가하기 위해.
• 다중모달 융합, 지속적 예측, 성격 계산에서의 해석 가능성 있는 AI와 같은 향후 연구 방향을 탐색하기 위해.
• 심리학과 기계 학습 간 격차를 메우기 위해 이전 지식 통합 및 모델 해석 가능성 향상의 기회를 부각하기 위해.

제안 방법

• 첫인상에서 얼굴 표정, 신체 자세, 제스처, 비언어적 행동을 중심으로 시각 기반 외형 성격 특성 인식에 대한 체계적 문헌 검토.
• 모odal(단일 시각, 다중모달), 특징 엔지니어링(수작업 특징 대비 딥 러닝 특징), 학습 철학(감독 학습, 약한 감독 학습, 엔드 투 엔드)에 따라 방법을 분류.
• 분야에서 사용된 데이터셋의 분석, 바탕이 되는 인구 통계적 다양성, 주석 프로토콜, 평가 프로토콜 포함.
• 보고된 정확도, F1 점수, 상관계수 지표를 사용해 OCEAN의 각 성격 특성(빅-파이브)에 대해 성능 평가.
• 비디오 시퀀스에서 시각적 신호의 시공간 모델링을 위해 CNN, RNN, 3D-CNN 등의 딥 러닝 아키텍처 검토.
• 데이터 수집 과정에서의 관찰자 편향과 주관적 레이블링을 분석하고, 이가 모델 일반화 및 평가에 미치는 영향 검토.

실험 결과

연구 질문

• RQ1 첫인상에서 성격 특성에 가장 예측 가능한 시각적 신호는 얼굴, 신체, 제스처 중 무엇인가?
• RQ2 다양한 특징 엔지니어링 접근법과 학습 모델이 빅파이브 성격 차원에서 성능에 어떻게 영향을 미치는가?
• RQ3 인간 레이블링의 주관성이 성격 인식 모델의 신뢰성과 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ4 현재 데이터셋의 핵심 한계는 무엇이며, 향후 데이터셋은 어떻게 더 다양한 인구와 실제 세계 시나리오를 잘 반영할 수 있는가?
• RQ5 딥 러닝 모델은 다중모달 융합과 첫인상 분석에서 엔드 투 엔드 학습을 향상시키기 위해 어떻게 활용될 수 있는가?

주요 결과

• 성능은 빅파이브 특성에 따라 크게 차이가 나며, 데이터셋과 특징 집합에 따라 책임감 있는 성격과 열린 성격에서 더 높은 인식률을 보이며, 다른 특성보다 낮은 성능를 보인다.
• 수작업 특징과 전통적 기계 학습이 여전히 주로 사용되지만, CNN과 같은 딥 러닝 모델이 엔드 투 엔드 시각적 표현 학습에서 유망한 성과를 보이고 있다.
• 인간 레이블링의 주관성과 관찰자 편향은 데이터 품질과 모델 평가에 큰 도전 과제가 되며, 특히 첫인상 맥락에서 영향을 미친다.
• 현재 데이터셋은 크기, 다양성, 실제 세계의 현실성 측면에서 제한되어 있으며, 지속적 또는 동적 성격 예측을 지원하는 경우가 거의 없다.
• 특히 시각적 신호와 맥락적 신호를 융합한 다중모달 융합은 성능 향상 잠재력을 보이고 있으나, 현재의 접근법에서는 여전히 미흡하게 다뤄지고 있다.
• 더 큰 규모의 공개 데이터셋과 과제가 필요하며, 특히 다문화 및 포용적인 환경에서의 진전을 가속화하기 위한 필요성이 높다.