[論文レビュー] Modeling Personality vs. Modeling Personalidad: In-the-wild Mobile Data Analysis in Five Countries Suggests Cultural Impact on Personality Models

Mohammed Khwaja, Sumer S. Vaid+4 more|arXiv (Cornell University)|Aug 13, 2019

Impact of Technology on Adolescents参考文献 58被引用数 8

ひとこと要約

本研究では、5か国（英国、スペイン、コロンビア、ペルー、チリ）におけるリアルワールドのスマートフォンセンサー・データから、マシンラーニングモデルを用いてオウル・ファイブ性格特性を推定する手法を開発・評価した。文化的要因がモデルのパフォーマンスに顕著な影響を及えることが示された。国別に特化したデータセットを用いることで、外向性、協同性、誠実性の各特性の予測精度が3–7%向上した。性別および年齢のバランスが取れたデータセットは、予測精度を最大で17%向上させた。特に、位置情報、ノイズ、ロック解除、加速度センサーのデータが最も予測に寄与する特徴量であった。

ABSTRACT

Sensor data collected from smartphones provides the possibility to passively infer a user's personality traits. Such models can be used to enable technology personalization, while contributing to our substantive understanding of how human behavior manifests in daily life. A significant challenge in personality modeling involves improving the accuracy of personality inferences, however, research has yet to assess and consider the cultural impact of users' country of residence on model replicability. We collected mobile sensing data and self-reported Big Five traits from 166 participants (54 women and 112 men) recruited in five different countries (UK, Spain, Colombia, Peru, and Chile) for 3 weeks. We developed machine learning based personality models using culturally diverse datasets -- representing different countries -- and we show that such models can achieve state-of-the-art accuracy when tested in new countries, ranging from 63% (Agreeableness) to 71% (Extraversion) of classification accuracy. Our results indicate that using country-specific datasets can improve the classification accuracy between 3% and 7% for Extraversion, Agreeableness, and Conscientiousness. We show that these findings hold regardless of gender and age balance in the dataset. Interestingly, using gender- or age- balanced datasets as well as gender-separated datasets improve trait prediction by up to 17%. We unpack differences in personality models across the five countries, highlight the most predictive data categories (location, noise, unlocks, accelerometer), and provide takeaways to technologists and social scientists interested in passive personality assessment.

研究の動機と目的

• 5か国における文化的差が、スマートフォンセンサー・データからオウル・ファイブ性格特性を推定する機械学習モデルの精度に与える影響を調査すること。
• 文化的な文脈が異なる環境においても効果的に汎化できる国別に依存しないモデルが有効かどうか、あるいは文化的に特化したデータが必要かを評価すること。
• 性別および年齢のバランスを取ったデータセットが、モバイルセンシング・データを用いた性格特性予測の精度に与える影響を検討すること。
• 異なる文化的文脈において、性格モデル化に最も予測に寄与するセンサー・データの種別（例：位置情報、ノイズ、加速度計）を同定すること。
• 技術者および社会科学者による文化的に配慮した受動的で性格評価システムを設計するための実務的知見を提供すること。

提案手法

• 5か国にまたがる166名の参加者から、3週間分のリアルワールドのスマートフォンセンサー・データ（GPS、加速度計、マイク、Bluetooth、ロック解除イベント）を収集した。
• モデルの学習および評価の基準として、自己報告によるオウル・ファイブ性格特性（外向性、協同性、誠実性、神経症傾向、開放性）を用いた。
• 時間的・空間的パターンを含む、多様な特徴量セットをセンサー・データから抽出し、SVM、ランダムフォレストなどの複数の機械学習モデルを訓練・評価した。
• モデルのパフォーマンスを、国別に依存しないモデルと国別に特化したモデルの両方で比較し、再現性および文化的要因の影響を評価した。
• 性別および年齢のバランスを取ったデータセットの影響を評価し、男性および女性参加者ごとに別々のモデルを構築した。
• 特徴量の重要度分析を実施し、国ごとに最も予測に寄与するセンサー種別（例：位置情報、ノイズ、ロック解除イベント、加速度計）を同定した。

実験結果

リサーチクエスチョン

• RQ1 居住国が、スマートフォンセンサー・データからオウル・ファイブ性格特性を推定する機械学習モデルの精度に、どの程度影響を及えるか。
• RQ2 国別に依存しない性格モデルは、異なる文化的文脈において効果的に汎化可能か、あるいは最適なパフォーマンスを得るには国別に特化したデータが必要か。
• RQ3 性別および年齢のバランスが取れたデータセットは、モバイルセンシング・データを用いた性格特性予測の精度に、どの程度影響を及えるか。
• RQ4 異なる文化的文脈において、どのスマートフォンセンサー・データ種別（例：位置情報、ノイズ、加速度計）が性格特性の予測に最も予測に寄与するか。
• RQ5 性格モデル化に用いられる予測特徴量に文化的パターンが検出可能か。また、大陸ごとのグループ（例：ヨーロッパ対南米）と一致するか。

主な発見

• 国別に依存しないモデルは、協同性で63%、外向性で71%の分類精度を達成し、文化的に跨った性格推定の可能性を示した。
• 国別に特化したデータセットを用いることで、外向性、協同性、誠実性の各特性の分類精度が3–7%向上した。文化的要因がモデルパフォーマンスに顕著な影響を及えることが示された。
• 性別および年齢のバランスが取れたデータセットは、予測精度を最大で17%向上させた。性別別にモデルを分離した場合もさらに精度が向上した。これは、人種的・文化的要因の代表性の重要性を示している。
• 位置情報、ノイズ、ロック解除イベント、加速度計のデータが、すべての国で最も予測に寄与するセンサー種別であった。特にノイズおよびロック解除の特徴量は、文化的に一貫した予測力を持っていた。
• スペインと英国（ヨーロッパ）の間、およびコロンビア、ペルー、チリ（南米）の間で、予測特徴量の行動的類似性が観察された。これは、センサーと行動の関係に大陸単位のパターンが存在することを示唆している。
• 参加者の最大30%が、研究目的であっても位置情報、ノイズ、通話データへのアクセスを拒否した。これは、モデル開発における深刻なプライバシーとデータアクセスの課題を示している。