[논문 리뷰] Multimodal Video-based Apparent Personality Recognition Using Long Short-Term Memory and Convolutional Neural Networks

Süleyman Aslan, Uğur Güdükbay|arXiv (Cornell University)|2019. 11. 01.

Personality Traits and Psychology인용 수 14

한 줄 요약

이 논문은 영상에서 표면적 빅파이브 성격 특성(성격 특성)을 인식하기 위해 얼굴, 환경, 음성, 전사 정보를 다중모달 특성으로 융합하는 다중모달 딥러닝 프레임워크를 제안한다. 각 모달리티별로 전문화된 컨볼루션 신경망(CNN)과 장기 단기 기억(LSTM) 네트워크를 사용하며, 두 단계의 훈련 과정—먼저 모달리티별 하위망을 별도로 사전 훈련하고, 그 후 전체 모델을 미세조정하는 방식—을 통해 ChaLearn First Impressions V2 데이터셋에서 최고 성능(mean accuracy: 0.9188)을 달성한다.

ABSTRACT

Personality computing and affective computing, where the recognition of personality traits is essential, have gained increasing interest and attention in many research areas recently. We propose a novel approach to recognize the Big Five personality traits of people from videos. Personality and emotion affect the speaking style, facial expressions, body movements, and linguistic factors in social contexts, and they are affected by environmental elements. We develop a multimodal system to recognize apparent personality based on various modalities such as the face, environment, audio, and transcription features. We use modality-specific neural networks that learn to recognize the traits independently and we obtain a final prediction of apparent personality with a feature-level fusion of these networks. We employ pre-trained deep convolutional neural networks such as ResNet and VGGish networks to extract high-level features and Long Short-Term Memory networks to integrate temporal information. We train the large model consisting of modality-specific subnetworks using a two-stage training process. We first train the subnetworks separately and then fine-tune the overall model using these trained networks. We evaluate the proposed method using ChaLearn First Impressions V2 challenge dataset. Our approach obtains the best overall "mean accuracy" score, averaged over five personality traits, compared to the state-of-the-art.

연구 동기 및 목표

• 영상 데이터로부터 표면적 성격 특성을 인식하기 위한 강력한 다중모달 프레임워크를 개발하는 것.
• 얼굴 표정, 환경, 음성, 언어 전사와 같은 다양한 모달리티를 통합하여 통합된 성격 인식 시스템을 구축하는 데 도전하는 것.
• LSTM 네트워크를 활용해 영상 시퀀스의 시간적 동적 특성을 모델링함으로써 성능을 향상시키는 것.
• 특성 수준 융합을 통해 두 단계 훈련 전략을 최적화하여 정확도를 향상시키는 것.
• ChaLearn First Impressions V2 벤치마크 데이터셋에서 최고 성능을 달성하는 것.

제안 방법

• 모달리티별로 전문화된 딥 네트워크를 활용: 얼굴 및 환경 특성에는 ResNet-v2-101, 음성 특성에는 VGGish, 전사 특성에는 ELMo 임베딩을 사용.
• 얼굴 및 환경 특성의 시간적 의존성을 모델링하기 위해 6층의 LSTM을 사용하고, 전사 특성에는 3개의 완전 연결층을 적용.
• 두 단계 훈련 과정을 적용: 첫 번째로 각 모달리티별 하위망을 별도로 사전 훈련하고, 두 번째로 특성 수준 융합을 통한 전체 모델의 미세조정을 수행.
• 특성 수준 융합을 위해 얼굴 및 환경 하위망에서 유도된 80차원 특성과 음성 및 전사 하위망에서 유도된 20차원 특성을 연결(concatenate)한다.
• LSTM 셀 출력을 최종 레이어 출력에 연결함으로써 잔차 RNN 구조를 도입하여 기울기 유량과 학습 안정성을 향상시킨다.
• 사전 훈련된 모델(ResNet, VGGish, ELMo)을 활용해 융합 및 최종 예측 이전에 고수준의 의미론적 표현을 추출한다.

실험 결과

연구 질문

• RQ1 얼굴, 환경, 음성, 텍스트 특성을 활용한 다중모달 딥러닝 프레임워크는 영상에서 표면적 빅파이브 성격 특성을 효과적으로 인식할 수 있는가?
• RQ2 LSTM을 통한 시간 정보 통합은 정적 특성 추출 방식에 비해 성격 인식 성능에 어떻게 기여하는가?
• RQ3 각 모달리티(얼굴, 환경, 음성, 전사)가 최종 성격 예측 성능에 기여하는 상대적 기여도는 어떠한가?
• RQ4 하위망 사전 훈련 후 엔드 투 엔드 미세조정을 수행하는 두 단계 훈련 전략은 공동 훈련보다 더 높은 성능을 내는가?
• RQ5 모달리티별 표현의 특성 수준 융합은 단일 모달리티 또는 간단한 초기/후기 융합 접근 방식보다 우수한 성능을 낼 수 있는가?

주요 결과

• 제안된 모델은 ChaLearn First Impressions V2 데이터셋의 검증 세트에서 평균 정확도 0.9188을 달성하여 이전의 모든 최고 성능 기준을 초월한다.
• 얼굴 특성 기반 하위망이 단독으로 가장 높은 개별 성능를 기록했으며, 그 다음으로 환경, 음성, 전사 하위망이 이어졌다.
• 환경 및 음성 특성의 다중모달 융합은 단일 모달리티 기반 베이스라인보다 성능 향상을 보였으며, 이는 교차 모달 학습의 이점을 입증한다.
• 환경-음성 모델에 얼굴 및 전사 특성을 추가함으로써 정확도가 더욱 향상되었으며, 이는 네 가지 모달리티가 상호 보완적임을 확인한다.
• 잔차 RNN 연결과 미세조정된 사전 훈련된 네트워크를 갖춘 최종 4개 특성 융합 모델이 가장 뛰어난 종합 성능를 기록했다.
• 모델은 성실성, 외향성, 협조성, 신경질성의 네 성격 특성에서 뛰어난 성능를 보였으며, 개방성에서는 최고 성능 기준 베이스라인에 비해 略로 낮은 성능를 기록했다.