[论文解读] Modeling Personality vs. Modeling Personalidad: In-the-wild Mobile Data Analysis in Five Countries Suggests Cultural Impact on Personality Models

Mohammed Khwaja, Sumer S. Vaid+4 more|arXiv (Cornell University)|Aug 13, 2019

Impact of Technology on Adolescents参考文献 58被引用 8

一句话总结

本研究开发并评估了机器学习模型，以从五个国家（英国、西班牙、哥伦比亚、秘鲁、智利）的现实环境中智能手机传感器数据中推断大五人格特质，结果表明文化显著影响模型性能。研究发现，使用国家特定数据集可使外向性、宜人性和尽责性预测准确率提高3–7%；而性别与年龄平衡的数据集可使预测准确率提升高达17%；其中位置、噪声、解锁事件和加速度计数据为最具预测性的特征。

ABSTRACT

Sensor data collected from smartphones provides the possibility to passively infer a user's personality traits. Such models can be used to enable technology personalization, while contributing to our substantive understanding of how human behavior manifests in daily life. A significant challenge in personality modeling involves improving the accuracy of personality inferences, however, research has yet to assess and consider the cultural impact of users' country of residence on model replicability. We collected mobile sensing data and self-reported Big Five traits from 166 participants (54 women and 112 men) recruited in five different countries (UK, Spain, Colombia, Peru, and Chile) for 3 weeks. We developed machine learning based personality models using culturally diverse datasets -- representing different countries -- and we show that such models can achieve state-of-the-art accuracy when tested in new countries, ranging from 63% (Agreeableness) to 71% (Extraversion) of classification accuracy. Our results indicate that using country-specific datasets can improve the classification accuracy between 3% and 7% for Extraversion, Agreeableness, and Conscientiousness. We show that these findings hold regardless of gender and age balance in the dataset. Interestingly, using gender- or age- balanced datasets as well as gender-separated datasets improve trait prediction by up to 17%. We unpack differences in personality models across the five countries, highlight the most predictive data categories (location, noise, unlocks, accelerometer), and provide takeaways to technologists and social scientists interested in passive personality assessment.

研究动机与目标

• 探究五个国家之间的文化差异如何影响从智能手机传感器数据推断大五人格特质的机器学习模型的准确性。
• 评估无国家特异性的模型是否能在不同文化背景下有效泛化，或是否需要使用特定国家的数据以实现最佳性能。
• 考察基于性别和年龄的样本平衡对使用移动传感数据进行人格特质预测准确率的影响。
• 识别在不同文化背景下对人格建模最具预测力的传感器数据类别（例如位置、噪声、加速度计）。
• 为技术专家和社会科学家提供切实可行的见解，以设计具备文化意识的被动人格评估系统。

提出的方法

• 从五个国家的166名参与者中收集为期三周的现实环境中智能手机传感器数据（GPS、加速度计、麦克风、蓝牙、解锁事件）。
• 使用自报的大五人格特质（外向性、宜人性、尽责性、神经质、开放性）作为模型训练和评估的基准真实值。
• 利用从传感器数据中提取的多样化特征集（包括时间与空间模式）训练并评估多种机器学习模型（如SVM、随机森林）。
• 通过比较无国家特异性与国家特异性训练设置下的模型性能，评估可复现性与文化影响。
• 评估数据集组成（性别与年龄平衡）的影响，包括为男性和女性参与者分别训练模型。
• 进行特征重要性分析，以识别在各国中最具预测力的传感器类别（如位置、噪声、解锁事件、加速度计）。

实验结果

研究问题

• RQ1 居住国家在多大程度上影响从智能手机传感器数据推断大五人格特质的机器学习模型的准确性？
• RQ2 无国家特异性的个性模型是否能在不同文化背景下有效泛化，还是必须依赖特定国家的数据才能实现最佳性能？
• RQ3 通过性别与年龄平衡数据集对人格特质预测准确率有何影响？
• RQ4 在多样化文化背景下，哪些智能手机传感器数据类别（如位置、噪声、加速度计）对人格特质最具预测力？
• RQ5 在人格建模所用预测特征中是否存在可检测的文化模式，且这些模式是否与大陆分组（如欧洲 vs. 南美洲）一致？

主要发现

• 无国家特异性的模型在分类准确率上达到63%（宜人性）至71%（外向性）之间，证明了跨文化人格推断的可行性。
• 使用国家特定数据集使外向性、宜人性和尽责性的分类准确率提高了3–7%，表明文化对模型性能有显著影响。
• 性别与年龄平衡的数据集可使预测准确率提升高达17%，且分性别建模进一步提升了性能，凸显了人口统计代表性的重要性。
• 在所有国家中，位置、噪声、解锁事件和加速度计数据是最具预测力的传感器类别，其中噪声和解锁特征表现出强跨文化一致性。
• 在西班牙与英国（欧洲）之间，以及哥伦比亚、秘鲁与智利（南美洲）之间，观察到预测特征中的行为相似性，表明传感器-行为关系存在大陆层面的模式。
• 高达30%的参与者即使在研究背景下也拒绝提供位置、噪声和通话数据，凸显了模型开发过程中隐私与数据访问的关键挑战。