[논문 리뷰] Modeling Personality vs. Modeling Personalidad: In-the-wild Mobile Data Analysis in Five Countries Suggests Cultural Impact on Personality Models

Mohammed Khwaja, Sumer S. Vaid외 4명|arXiv (Cornell University)|2019. 08. 13.

Impact of Technology on Adolescents참고 문헌 58인용 수 8

한 줄 요약

이 연구는 5개국(영국, 스페인, 콜롬비아, 페루, 칠레)에서 실외 환경의 스마트폰 센서 데이터를 활용해 빅파이브 성격 특성 추론을 위한 기계학습 모델을 개발하고 평가하며, 문화적 요인이 모델 성능에 미치는 영향을 입증한다. 국가별 데이터셋을 사용할 경우 외향성, 협력성, 성실성의 정확도가 3–7% 향상되며, 성별 및 연령대가 균형 잡힌 데이터는 예측 정확도를 최대 17% 향상시킨다. 위치, 소음, 잠금 해제, 가속도계 데이터가 가장 예측력 있는 특성으로 나타났다.

ABSTRACT

Sensor data collected from smartphones provides the possibility to passively infer a user's personality traits. Such models can be used to enable technology personalization, while contributing to our substantive understanding of how human behavior manifests in daily life. A significant challenge in personality modeling involves improving the accuracy of personality inferences, however, research has yet to assess and consider the cultural impact of users' country of residence on model replicability. We collected mobile sensing data and self-reported Big Five traits from 166 participants (54 women and 112 men) recruited in five different countries (UK, Spain, Colombia, Peru, and Chile) for 3 weeks. We developed machine learning based personality models using culturally diverse datasets -- representing different countries -- and we show that such models can achieve state-of-the-art accuracy when tested in new countries, ranging from 63% (Agreeableness) to 71% (Extraversion) of classification accuracy. Our results indicate that using country-specific datasets can improve the classification accuracy between 3% and 7% for Extraversion, Agreeableness, and Conscientiousness. We show that these findings hold regardless of gender and age balance in the dataset. Interestingly, using gender- or age- balanced datasets as well as gender-separated datasets improve trait prediction by up to 17%. We unpack differences in personality models across the five countries, highlight the most predictive data categories (location, noise, unlocks, accelerometer), and provide takeaways to technologists and social scientists interested in passive personality assessment.

연구 동기 및 목표

• 스마트폰 센서 데이터로부터 빅파이브 성격 특성을 추론하는 기계학습 모델의 정확도에 문화적 차이가 미치는 영향을 조사하는 것.
• 국가 간 차이가 없는 모델이 다양한 문화적 맥락에서 효과적으로 일반화되는지 여부, 또는 문화별 데이터가 성능 향상에 기여하는지 평가하는 것.
• 성별 및 연령대에 따라 균형 잡힌 데이터셋이 모바일 센싱 데이터를 활용한 성격 특성 예측 정확도에 미치는 영향을 분석하는 것.
• 다양한 문화적 맥락에서 성격 모델링에 가장 예측력 있는 센서 데이터 유형(예: 위치, 소음, 가속도계)을 특정하는 것.
• 기술자와 사회과학자들이 문화적 인지 능력을 갖춘 수동적 성격 평가 시스템을 설계하는 데 실질적인 통찰을 제공하는 것.

제안 방법

• 5개국의 166명 참가자로부터 3주간의 실외 환경 스마트폰 센서 데이터(GPS, 가속도계, 마이크로폰, 블루투스, 잠금 해제 이벤트)를 수집하였다.
• 기계학습 모델 훈련 및 평가의 기준으로 자가 보고한 빅파이브 성격 특성(외향성, 협력성, 성실성, 정서적 안정성, 개방성)을 사용하였다.
• 시간적 및 공간적 패턴을 포함한 다양한 특성 세트를 센서 데이터에서 유도하여 기계학습 모델(SVM, 랜덤 포레스트 등)을 훈련하고 평가하였다.
• 모델 성능을 비교하기 위해 국가 간 차이가 없는 훈련 설정과 국가별 특화된 훈련 설정을 대조하였다.
• 성별 및 연령대 균형을 고려한 데이터셋 구성의 영향을 평가하였으며, 남성 및 여성 참가자별 별도의 모델도 구축하였다.
• 국가별로 가장 예측력 있는 센서 유형(예: 위치, 소음, 잠금 해제 이벤트, 가속도계)을 특정하기 위해 특성 중요도 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 거주 국가가 스마트폰 센서 데이터로부터 빅파이브 성격 특성을 추론하는 기계학습 모델의 정확도에 어느 정도 영향을 미치는가?
• RQ2 국가 간 차이가 없는 성격 모델은 다양한 문화적 맥락에서 효과적으로 일반화되는가, 아니면 최적의 성능을 위해 국가별 특화된 데이터가 필요한가?
• RQ3 성별 및 연령대에 따라 균형 잡힌 데이터셋이 모바일 센싱 데이터를 활용한 성격 특성 예측 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 문화적 맥락에서 성격 특성 예측에 가장 예측력 있는 스마트폰 센서 데이터 유형(예: 위치, 소음, 가속도계)은 무엇인가?
• RQ5 성격 모델링에 사용되는 예측 특성에 감지 가능한 문화적 패턴이 존재하는가, 그리고 이는 대륙 그룹화(예: 유럽 대비 남미)와 일치하는가?

주요 결과

• 국가 간 차이가 없는 모델은 협력성의 경우 63%에서 외향성의 경우 71%까지 분류 정확도를 기록하여 다문화 성격 추론의 가능성을 입증하였다.
• 국가별 특화된 데이터셋을 사용할 경우 외향성, 협력성, 성실성의 분류 정확도가 3–7% 향상되었으며, 이는 모델 성능에 문화적 영향이 뚜렷하다는 것을 시사한다.
• 성별 및 연령대가 균형 잡힌 데이터셋은 정확도를 최대 17% 향상시켰으며, 성별로 분리된 모델은 성능 향상을 추가로 높여 인구 통계적 표현의 중요성을 강조한다.
• 모든 국가에서 위치, 소음, 잠금 해제 이벤트, 가속도계 데이터가 가장 예측력 있는 센서 유형으로 나타났으며, 소음 및 잠금 해제 기능은 뚜렷한 다문화 일관성을 보였다.
• 스페인과 영국(유럽) 간, 콜롬비아, 페루, 칠레(남미) 간에 예측 특성의 행동 유사성이 관찰되어 센서-행동 관계에 대륙 수준의 패턴이 존재함을 시사한다.
• 참가자의 최대 30%가 연구 목적이라도 위치, 소음, 통화 데이터 접근을 거부하여, 모델 개발에 있어 중요한 개인정보 보호 및 데이터 접근 과제가 존재함을 보여준다.