[논문 리뷰] Deep Inference of Personality Traits by Integrating Image and Word Use in Social Networks

Guillem Cucurull, Pau Rodríguez외 4명|arXiv (Cornell University)|2018. 02. 06.

Topic Modeling참고 문헌 28인용 수 6

한 줄 요약

이 논문은 빅파이브(Personality) 모델과 연결된 어휘-이미지 상관관계를 활용하여 소셜 미디어 이미지에서 성격 특성(성격 특성 모델: OCEAN)을 추론하는 딥러닝 프레임워크를 제안한다. '외향성'에 해당하는 '바(bar)'나 '성실성'에 해당하는 '채소(vegetables)'와 같은 성격 특성과 관련된 단어와 함께 훈련된 이미지를 통해 신경망이 시각적 콘텐츠만으로도 성격 특성을 성공적으로 분류할 수 있음을 입증하며, 성격이 이미지 분포의 배경에 존재하는 요소임을 확인한다.

ABSTRACT

Social media, as a major platform for communication and information exchange, is a rich repository of the opinions and sentiments of 2.3 billion users about a vast spectrum of topics. To sense the whys of certain social user's demands and cultural-driven interests, however, the knowledge embedded in the 1.8 billion pictures which are uploaded daily in public profiles has just started to be exploited since this process has been typically been text-based. Following this trend on visual-based social analysis, we present a novel methodology based on Deep Learning to build a combined image-and-text based personality trait model, trained with images posted together with words found highly correlated to specific personality traits. So the key contribution here is to explore whether OCEAN personality trait modeling can be addressed based on images, here called \emph{Mind{P}ics}, appearing with certain tags with psychological insights. We found that there is a correlation between those posted images and their accompanying texts, which can be successfully modeled using deep neural networks for personality estimation. The experimental results are consistent with previous cyber-psychology results based on texts or images. In addition, classification results on some traits show that some patterns emerge in the set of images corresponding to a specific text, in essence to those representing an abstract concept. These results open new avenues of research for further refining the proposed personality model under the supervision of psychology experts.

연구 동기 및 목표

• 특정 심리학적으로 의미 있는 단어와 관련된 상관관계를 활용하여 소셜 네트워크의 이미지에서 성격 특성을 추론할 수 있는지 탐구한다.
• 텍스트 분석에만 의존하지 않고 이미지와 텍스트 신호를 통합하는 다중모odal 딥러닝 프레임워크를 개발하여 성격 특성을 모델링한다.
• 성격 특성과 강하게 연관된 단어(예: 외향성에 대한 '마시다(drinking)')와 연결된 이미지가 감지 가능한 심리학적 신호를 지니는지 검증한다.
• 이미지의 외관이 다양하더라도 시각적 콘텐츠만으로도 개방성이나 정서적 불안정성과 같은 추상적인 성격 차원을 반영할 수 있는지 탐색한다.
• 시각적으로 기반을 두고 심리학적으로 주석이 달린 데이터를 활용하여 심리학 전문가와의 협업을 통해 성격 추론 모델의 정교화를 위한 새로운 연구 방향을 열어 놓는다.

제안 방법

• 이전 심리학 연구에서 확인된 특정 빅파이브 성격 특성과 강하게 연관된 단어를 가진 이미지를 소셜 네트워크에서 수집한다(예: Yarkoni, 2011).
• 기존 연구에서 확보된 어휘-성격 매핑을 활용해 이미지 검색 쿼리를 정의한다. 예를 들어, 외향성에 대해 '바(bar)' 또는 정서적 불안정성에 대해 '끔찍한(terrible)' 등의 태그를 가진 이미지를 검색한다.
• 수집된 이미지에서 시각적 표현을 학습하고 성격 특성 카테고리로 분류하기 위해 딥 네ural 네트워크(특히 컨volutional 네ural 네트워크)를 적용한다.
• 이미지 $ I $ 와 성격 특성과 관련된 단어 $ t $ 에 대해 조건부 확률 $ p(I|t) $ 를 모델링하여 특정 특성과 가장 관련 깊은 이미지를 식별한다.
• 이미지 특징과 단어 임베딩을 사용하여 알려진 성격-단어 연관성에 따라 모델을 종합적으로 훈련한다.
• 정량적 분류 정확도와 정성적 이미지 검색 결과 분석(고점수 및 저점수 샘플의 시각적 검토 포함)을 통해 모델을 검증한다.

실험 결과

연구 질문

• RQ1 성격 특성과 강하게 연관된 단어(예: 외향성에 대한 '바')와 연결된 이미지를 사용하여 해당 특성을 높은 정확도로 추론할 수 있는가?
• RQ2 개방성이나 정서적 불안정성과 같은 추상적인 성격 개념과 연결된 이미지들 사이에 심리학적으로 의미 있는 일관된 시각적 패턴이 존재하는가?
• RQ3 특정 언어적 단서를 조건으로 하여 이미지 특징이 성격 특성과 어느 정도 상관관계를 가지는가? 이는 공통된 배경 요소가 있음을 시사하는가?
• RQ4 어휘 조건이 부여된 이미지 컬렉션으로 훈련된 딥 네ural 네트워크가 이미지 콘텐츠를 성격 특성으로 효과적으로 매핑할 수 있는가?
• RQ5 성격 특성과 관련된 단어로 검색된 이미지들이 해당 특성의 심리학적 기술(예: 성실성에 대한 '채소')을 의미 있는 방식으로 반영하는가?

주요 결과

• 성격 특성과 강하게 연관된 단어(예: '바', '음료 마시다', '콘cert')와 짝지어진 이미지들은 외향성과 같은 빅파이브 성격 특성과 강한 시각적 연관성을 보이며, 이는 성격 특성의 시각적 표현을 뒷받침한다.
• 모델은 이전의 텍스트 기반 또는 이미지 기반 접근 방식과 유사한 성능을 보이며, 이미지 기반 성격 추론의 가능성을 확인한다.
• 매우 성실한 개인들은 채소, 운동, 일상적인 활동의 이미지와 관련이 있으며, 이는 성실성의 심리학적 정의와 일치한다.
• 외향성은 사회적 모임, 바, 파티의 이미지와 강하게 연관되며, 저외향성은 독서나 뜨개질과 같은 고립된 활동의 이미지와 관련된다.
• '개방성'과 관련된 이미지들은 높은 시각적 다양성을 보이며, 풍경, 책, 예술, 텍스트 등 다양한 요소를 포함하지만, 모델은 여전히 의미 있는 패턴을 식별한다.
• 클래스 간 변동성과 클래스 간 시각적 유사성(예: 고개방성 및 저개방성 이미지 모두에 텍스트 존재)이 존재하더라도 모델은 잘 일반화되며, 이는 시각적 데이터에서 의미론적 콘텐츠를 학습할 수 있음을 시사한다.