[论文解读] Like Partying? Your Face Says It All. Predicting the Ambiance of Places with Profile Pictures

Мириам Реди, Daniele Quercia+2 more|arXiv (Cornell University)|May 28, 2015

Human Mobility and Location-Based Analysis被引用 9

一句话总结

本文提出一种仅通过社交场所访客的头像照片预测场所氛围的方法。通过将计算美学特征应用于人脸图像，模型在[0,1]量表上的预测误差不超过0.1，准确度极高，甚至在某些情况下优于人类判断。研究发现，人类依赖情绪化的色彩联想，而算法则依赖客观视觉特征，如图像质量与人脸姿态。

ABSTRACT

To choose restaurants and coffee shops, people are increasingly relying on social-networking sites. In a popular site such as Foursquare or Yelp, a place comes with descriptions and reviews, and with profile pictures of people who frequent them. Descriptions and reviews have been widely explored in the research area of data mining. By contrast, profile pictures have received little attention. Previous work showed that people are able to partly guess a place's ambiance, clientele, and activities not only by observing the place itself but also by observing the profile pictures of its visitors. Here we further that work by determining which visual cues people may have relied upon to make their guesses; showing that a state-of-the-art algorithm could make predictions more accurately than humans at times; and demonstrating that the visual cues people relied upon partly differ from those of the algorithm.

研究动机与目标

• 确定社交场所（如咖啡馆和酒吧）的头像中视觉线索是否可用于预测其氛围。
• 识别人类在从头像推断氛围时所依赖的视觉特征。
• 比较人类对氛围的感知与最先进计算机视觉算法基于头像的预测结果。
• 评估计算美学特征是否能有效捕捉主观氛围维度。
• 探讨在城市计算与社交计算背景下，使用人脸图像进行氛围感知的实际与理论意义。

提出的方法

• 使用德克萨斯州奥斯汀市49个Foursquare场所（24家酒吧，25家咖啡馆）的数据集，每个场所至少包含25张访客头像。
• 利用最先进的计算美学工具提取258项视觉特征，包括色彩、纹理、构图及面部属性。
• 通过相关性分析将这些特征映射到72个预定义的氛围维度（如浪漫、友好、创意等）。
• 训练回归模型，基于每个场所25张头像的聚合视觉特征预测氛围得分。
• 通过相关性分析比较人类推断的线索（来自问卷评分）与算法提取的特征。
• 使用平均绝对误差（MAE）评估模型性能，报告在[0,1]量表上的最大误差为0.1。

实验结果

研究问题

• RQ1 人类在从头像推断场所氛围时，依赖哪些视觉线索？
• RQ2 最先进计算机视觉算法是否能仅通过头像比人类更准确地预测场所氛围？
• RQ3 人类依赖的视觉线索与算法提取的线索有何异同？
• RQ4 计算美学特征与主观氛围维度的相关性如何？
• RQ5 在社交网络中使用人脸图像推断场所氛围具有哪些实际与理论意义？

主要发现

• 算法在[0,1]量表上预测氛围得分的平均绝对误差最高仅为0.1，表明预测准确度极高。
• 人类主要依赖颜色带来的情绪联想——例如绿色代表平静，粉色代表做作——而算法则聚焦于图像质量与人脸姿态等客观特征。
• 计算美学特征（如独特性）能有效捕捉与创意或艺术类场所的关联。
• 人们对面包氛围的判断部分受到性别与种族刻板印象的影响，尽管这种影响并不一致，而算法则避免了此类偏见。
• 研究发现，通过分析两两相关性，可从原始72个维度中推导出18个正交的氛围维度。
• 该框架在实际应用中具有潜力，例如基于氛围的场所推荐，以及企业为提升形象而战略性地选择头像。