[논문 리뷰] Investigating Audio, Visual, and Text Fusion Methods for End-to-End Automatic Personality Prediction

Onno P. Kampman, Elham J. Barezi외 2명|arXiv (Cornell University)|2018. 05. 02.

Computational and Text Analysis Methods인용 수 25

한 줄 요약

이 논문은 오디오, 비디오, 텍스트 입력을 종단 간 훈련을 통해 융합하는 삼중 모odal 딥 러닝 아키텍처를 제안하여 빅 파이브 성격 특성 예측을 수행한다. 각 모달리티에 대해 스택드 컨볼루션 네트워크(CNN)를 적용하고 융합 네트워크를 통해 전방 및 후방 전파를 수행함으로써, 최고의 단일 모달리티(비디오) 대비 9.4% 향상된 성능을 달성하였다. 이는 복잡한 비선형 상호작용이 성격 예측 성능 향상에 크게 기여함을 시사한다.

ABSTRACT

We propose a tri-modal architecture to predict Big Five personality trait scores from video clips with different channels for audio, text, and video data. For each channel, stacked Convolutional Neural Networks are employed. The channels are fused both on decision-level and by concatenating their respective fully connected layers. It is shown that a multimodal fusion approach outperforms each single modality channel, with an improvement of 9.4\% over the best individual modality (video). Full backpropagation is also shown to be better than a linear combination of modalities, meaning complex interactions between modalities can be leveraged to build better models. Furthermore, we can see the prediction relevance of each modality for each trait. The described model can be used to increase the emotional intelligence of virtual agents.

연구 동기 및 목표

• 오디오, 비디오, 텍스트를 사용한 종단 간 자동 성격 예측에서 다모달 융합의 효과성을 조사한다.
• 결정 수준 융합, 특징 연결, 전체 역전파와 같은 다양한 융합 전략이 성격 특성 예측 성능에 미치는 영향을 비교한다.
• 각 모달리티(오디오, 텍스트, 비디오)가 개별 빅 파이브 특성 예측에 기여하는 정도를 분석한다.
• 원시 입력을 사용한 종단 간 훈련이 전통적인 특징 엔지니어링 대비 성격 인식 성능을 높이는지 평가한다.
• 선형 조합을 초월해 성능 향상에 기여하는 모달리티 간 비선형 상호작용을 이해한다.

제안 방법

• 오디오, 텍스트, 비디오 입력을 위한 세 개의 별도된 스택드 컨볼루션 신경망(CNN) 브랜치를 사용하며, 수작업으로 만든 특징 없이 원시 또는 임bedded 표현을 처리한다.
• 오디오 입력은 8 kHz에서의 원시 파형이며, 훈련 중 음량 편향을 줄이기 위해 진폭을 무작위로 조정한다; 이중 채널 입력은 원시 진폭과 제곱 진폭을 포함하여 에너지를 포착한다.
• 텍스트 입력은 구글 뉴스에서 사전 학습된 300차원 워드2vec 임베딩을 사용하며, 언어적 패턴을 추출하기 위해 CNN을 통과시킨다.
• 비디오 입력은 얼굴 및 시각적 신호를 추출하기 위해 CNN을 통해 처리되며, 각 컨볼루션 레이어 출력에 대해 글로벌 평균 풀링을 적용한다.
• 융합는 최종 완전 연결 레이어 출력을 연결함으로써 수행되며, 전체 역전파를 통해 모든 모달리티 간 종단 간 최적화가 가능하다.
• 모델은 시그모이드 출력 레이어를 사용하여 [0,1] 범위 내에서 다섯 가지 성격 점수(외향성, 친화성, 성실성, 정서적 안정성, 열린 마음)를 종단 간 훈련을 통해 예측하도록 학습된다.

실험 결과

연구 질문

• RQ1 오디오, 시각적, 텍스트 모달리티가 빅 파이브 성격 특성 예측에 각각 어떻게 기여하는가?
• RQ2 다모달 융합이 단일 모달리티 모델 대비 성격 예측 정확도를 유의미하게 향상시키는가?
• RQ3 결정 수준 융합, 특징 연결, 전체 역전파 중 어떤 융합 전략이 가장 높은 성능을 낳는가?
• RQ4 복잡한 비선형 상호작용이 선형 조합을 초월해 예측 성능을 향상시키는 데 얼마나 기여하는가?
• RQ5 어느 성격 특성이 어느 모달리티에서 가장 예측 가능하며, 시간적 맥락은 성능에 어떤 영향을 미치는가?

주요 결과

• 전체 역전파 융합 방법은 평균 제곱 오차(MSE) 0.0938을 달성하였으며, 최고의 단일 모달리티(비디오)의 0.1034 MSE 대비 9.4% 향상된 성능을 보였다.
• 전체 역전파가 결정 수준 융합 및 선형 특징 연결보다 우수하여, 모달리티 간 복잡하고 비트ivial한 학습된 상호작용이 성능 향상에 핵심적임을 시사한다.
• 정서적 안정성과 외향성이 가장 예측하기 쉬운 특성였고, 친화성은 모든 융합 방법에서 가장 예측하기 어려운 특성이었다.
• 텍스트 모달리티는 대부분의 특성에 대해 기여도가 가장 낮았으며, 친화성과 성실성 제외 시에는 제한된 언어 신호를 제공함을 시사한다.
• 비디오(외모)가 오디오(프로소디 및 톤)보다 略로 더 정보가 많았으며, 이는 시각적 신호가 성격 인식에 더 강력한 역할을 함을 시사한다.
• 원시 입력과 종단 간 훈련을 사용했음에도 불구하고, 모델의 성능은 DCC 및 evolgen을 포함한 ChaLearn 2016 대회 상위 메서드들과 유사한 성능을 보였다.