[논문 리뷰] Being the center of attention: A Person-Context CNN framework for Personality Recognition

Dario Dotti, Mirela Popa외 1명|arXiv (Cornell University)|2019. 10. 15.

Personality Traits and Psychology인용 수 4

한 줄 요약

이 논문은 시간적·공간적 운동 및 근접성 기술자를 사용하여 개인 행동과 맥락적 환경 역학을 함께 모델링하는 새로운 Person-Context CNN 프레임워크를 제안한다. 이는 다양한 시나리오에서 강건한 다중 시나리오 성격 인식을 가능하게 한다. 공통 임bedding 공간에 개인 수준, 그룹 수준, 근접성 특징을 융합함으로써, 두 개의 공개 데이터셋에서 최신 기술을 초월하는 성능을 달성하고, 클래스 활성화 맵을 통해 성격과 관련된 행동 패턴을 드러낸다.

ABSTRACT

This paper proposes a novel study on personality recognition using video data from different scenarios. Our goal is to jointly model nonverbal behavioral cues with contextual information for a robust, multi-scenario, personality recognition system. Therefore, we build a novel multi-stream Convolutional Neural Network framework (CNN), which considers multiple sources of information. From a given scenario, we extract spatio-temporal motion descriptors from every individual in the scene, spatio-temporal motion descriptors encoding social group dynamics, and proxemics descriptors to encode the interaction with the surrounding context. All the proposed descriptors are mapped to the same feature space facilitating the overall learning effort. Experiments on two public datasets demonstrate the effectiveness of jointly modeling the mutual Person-Context information, outperforming the state-of-the art-results for personality recognition in two different scenarios. Lastly, we present CNN class activation maps for each personality trait, shedding light on behavioral patterns linked with personality attributes.

연구 동기 및 목표

• 다양한 시나리오에서 일반화 가능한 다중 시나리오 성격 인식 시스템을 개발하여 개인 및 맥락적 행동 신호를 포괄한다.
• 자동 성격 평가에서 다양한 실생활 시나리오 간 일관되지 않은 행동 패턴에 도전한다.
• 비언어적 행동 신호를 근접성(공간적 상호작용) 및 사회적 그룹 역학 정보와 융합하여 성격 추론을 향상시킨다.
• 비디오 분석을 통한 수동적이고 간섭이 없는 성격 인식을 가능하게 하여 스마트 시스템에서 사용자 경험을 향상시킨다.
• 클래스 활성화 맵을 통해 학습된 CNN 특징을 심리학적 성격 특성과 연결하여 해석 가능성을 제공한다.

제안 방법

• 프레임워크는 세 가지 입력 스트림을 가진 다중 스트림 CNN 아키텍처를 사용한다: 개인 운동 기술자(D_pers), 사회적 그룹 운동 기술자(D_group), 환경와의 공간적 관계를 인코딩하는 근접성 기술자(D_prox).
• 시간적·공간적 운동 기술자는 3D CNN을 사용해 비디오 클립에서 추출되어 개인 및 그룹 수준의 동적 인간 행동을 포착한다.
• 근접성 기술자는 개인 간 거리와 방향성 기반으로 계산되며, 개인이 물리적 및 사회적 환경과 어떻게 상호작용하는지를 모델링한다.
• 모든 기술자는 공통 임베딩 레이어를 통해 공통 특징 공간으로 매핑되어 개인-맥락 상호작용의 공동 학습을 가능하게 한다.
• 최종 분류는 융합된 특징에 대해 소프트맥스 레이어를 사용하며, 각 기술자 유형이 성격 특성에 기여하는 방식을 해석하기 위해 클래스 활성화 맵이 사용된다.
• 모델은 교차 엔트로피 손실과 표준 데이터 증강을 사용해 두 개의 공개 데이터셋(Salsa 및 MPII-IAD)에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 개인 수준 행동과 맥락적 환경 역학을 함께 모델링할 경우, 다양한 시나리오에서 성격 인식 성능가 어떻게 향상되는가?
• RQ2 환경와의 공간적 상호작용을 나타내는 근접성 기술자가 비사회적 환경에서도 성격 인식에 얼마나 기여하는가?
• RQ3 클래스 활성화 맵을 통해 드러난 행동 패턴 중 어떤 것이 특정 Big-Five 성격 특성에 가장 예측 가능한가?
• RQ4 학습된 표현이 외향성이 높은 사람들이 사회적 상호작용에서 지배적인 경향이 있다는 심리학적 성격 이론과 일치하는가?
• RQ5 특정 작업에 맞춘 미세조정 없이도 다양한 실생활 환경에서 일반화 가능한가?

주요 결과

• 제안된 Person-Context CNN 프레임워크는 Salsa 및 MPII-IAD 데이터셋에서 최신 기술을 초월하는 성능을 달성하여 다중 시나리오 성격 인식에서 뛰어난 정확도를 보였다.
• 개인 및 맥락 특징의 공동 모델링은 성능 향상에 기여하여 성격 추론에서 맥락 정보의 중요성을 확인했다.
• 클래스 활성화 맵은 높은 외향성과 관련하여 개인 수준 특징에서 강한 활성화와 맥락 특징에서의 약한 활성화를 보였으며, 이는 사회적 상황에서의 지배적 행동을 시사한다.
• 높은 협조성과 성실성은 개인 및 맥락 스트림 양쪽에서 균형 잡힌 활성화를 보였으며, 협력적이고 참여적인 사회적 행동을 반영한다.
• 낮은 신경질성과 경험에 대한 열린 성향은 양쪽 스트림에서 중간에서 높은 활성화를 보였으며, 이러한 특성을 가진 개인은 더 사회적으로 참여하고 반응성이 낮다는 것을 시사한다.
• 모델은 비사회적 상황에서도 근접성 기술자를 성공적으로 인코딩하여 물체와의 공간적 상호작용이 성격을 반영할 수 있음을 보여주며, 인격화 기반 해석을 뒷받침한다.