[论文解读] Deep Inference of Personality Traits by Integrating Image and Word Use in Social Networks

Guillem Cucurull, Pau Rodríguez+4 more|arXiv (Cornell University)|Feb 6, 2018

Topic Modeling参考文献 28被引用 6

一句话总结

本文提出了一种深度学习框架，通过利用与大五人格（OCEAN）人格模型相关联的词-图像关联，从社交媒体图像中推断人格特质。通过在与特质相关联的词语（如‘bar’代表外向性，‘vegetables’代表尽责性）配对的图像上进行训练，该研究表明神经网络仅从视觉内容即可成功分类人格特质，证实人格是图像分布中的潜在因素。

ABSTRACT

Social media, as a major platform for communication and information exchange, is a rich repository of the opinions and sentiments of 2.3 billion users about a vast spectrum of topics. To sense the whys of certain social user's demands and cultural-driven interests, however, the knowledge embedded in the 1.8 billion pictures which are uploaded daily in public profiles has just started to be exploited since this process has been typically been text-based. Following this trend on visual-based social analysis, we present a novel methodology based on Deep Learning to build a combined image-and-text based personality trait model, trained with images posted together with words found highly correlated to specific personality traits. So the key contribution here is to explore whether OCEAN personality trait modeling can be addressed based on images, here called \emph{Mind{P}ics}, appearing with certain tags with psychological insights. We found that there is a correlation between those posted images and their accompanying texts, which can be successfully modeled using deep neural networks for personality estimation. The experimental results are consistent with previous cyber-psychology results based on texts or images. In addition, classification results on some traits show that some patterns emerge in the set of images corresponding to a specific text, in essence to those representing an abstract concept. These results open new avenues of research for further refining the proposed personality model under the supervision of psychology experts.

研究动机与目标

• 探究是否可以通过利用与特定人格特质高度相关的心理有意义词语的关联，从社交网络图像中推断人格特质。
• 开发一种多模态深度学习框架，整合图像与文本信号，以建模人格特质，而无需完全依赖文本分析。
• 验证与人格特质高度相关联的词语（如‘drinking’代表外向性）所关联的图像是否携带可检测的心理学信号。
• 探索图像内容本身是否能够反映抽象人格维度（如开放性或神经质），即使图像在视觉外观上存在显著差异。
• 通过使用视觉化、心理学标注的数据与心理学专家合作，为改进人格推断模型开辟新的研究途径。

提出的方法

• 从社交网络中收集与先前心理学研究中识别出的特定大五人格特质高度相关的词语配对的图像（例如，Yarkoni, 2011）。
• 利用现有研究中的词-人格映射关系定义图像检索查询，例如检索与‘bar’相关的图像以代表外向性，或与‘terrible’相关的图像以代表神经质。
• 应用深度神经网络（特别是卷积神经网络）从检索到的图像中学习视觉表征，并将它们分类到人格特质类别中。
• 建模条件概率 $ p(I|t) $，其中 $ I $ 为图像，$ t $ 为与人格特质相关联的词语，以识别最能代表特定特质的图像。
• 使用图像特征和词嵌入端到端训练模型，监督信号来自已知的特质-词语关联。
• 通过定量分类准确率和定性分析图像检索结果（包括对高分和低分样本的视觉检查）验证模型。

实验结果

研究问题

• RQ1 是否可以利用与人格特质高度相关的词语（如‘bar’代表外向性）所关联的图像，以高准确率推断出这些特质？
• RQ2 与抽象人格概念（如‘openness’或‘neuroticism’）相关联的图像是否存在一致的视觉模式，以反映其心理学意义？
• RQ3 在特定语言线索的条件下，图像特征与人格特质的相关性在多大程度上表明存在共享的潜在因素？
• RQ4 当在词语条件化的图像集合上进行训练时，深度神经网络是否能有效学习将图像内容映射到人格特质？
• RQ5 使用与特质相关联的词语检索出的图像是否以有意义的方式反映相应特质的心理学描述（例如，‘vegetables’代表尽责性）？”

主要发现

• 与人格特质高度相关联的词语（如‘bar’、‘drinking’、‘concert’）所配对的图像，与相应的五大核心特质（如外向性）表现出强烈的视觉关联。
• 该模型在仅使用图像的情况下成功分类人格特质，性能与以往仅使用文本或仅使用图像的方法相当，证实了基于图像的人格推断的可行性。
• 高度尽责的个体在视觉上与蔬菜、锻炼和日常活动的图像相关联，与该特质的心理学定义一致。
• 外向性与社交聚会、酒吧和派对的图像强烈关联，而低外向性则与阅读或编织等独处活动相关。
• 与‘openness’相关的图像表现出高度的视觉多样性——涵盖风景、书籍、艺术和文字等——反映了该特质的抽象性质，但模型仍能识别出有意义的模式。
• 尽管类间存在显著差异且类间视觉相似性较高（例如，高开放性和低开放性图像中均存在文字），模型仍表现出良好的泛化能力，表明从视觉数据中可学习到语义内容。