[论文解读] Happy Travelers Take Big Pictures: A Psychological Study with Machine Learning and Big Data

Xuefeng Liang, Lixin Fan+3 more|arXiv (Cornell University)|Sep 22, 2017

Big Data Technologies and Applications参考文献 22被引用 5

一句话总结

本研究利用大数据与深度学习技术检验弗里德曼的积极情绪广博-建构理论，分析了来自TripAdvisor的418,000张旅游照片。研究发现，高分旅游景点触发的广角照片比例显著更高——广角照片占比达76%，远超随机数据中的40%，支持了积极情绪拓宽视觉注意力的假设，且深度学习模型在分类照片视角方面达到了人类水平的准确度。

ABSTRACT

In psychology, theory-driven researches are usually conducted with extensive laboratory experiments, yet rarely tested or disproved with big data. In this paper, we make use of 418K travel photos with traveler ratings to test the influential "broaden-and-build" theory, that suggests positive emotions broaden one's visual attention. The core hypothesis examined in this study is that positive emotion is associated with a wider attention, hence highly-rated sites would trigger wide-angle photographs. By analyzing travel photos, we find a strong correlation between a preference for wide-angle photos and the high rating of tourist sites on TripAdvisor. We are able to carry out this analysis through the use of deep learning algorithms to classify the photos into wide and narrow angles, and present this study as an exemplar of how big data and deep learning can be used to test laboratory findings in the wild.

研究动机与目标

• 利用大数据在真实世界环境中检验积极情绪的广博-建构理论，突破传统实验室实验的局限。
• 探究基于旅游景点评分推断出的积极情绪是否与更宽广的视觉注意力相关，表现为更倾向于拍摄广角照片的行为。
• 开发并验证一种深度学习模型，实现对照片视角的分类，准确度达到人类水平，以支持大规模行为分析。
• 通过对比高分、低分及随机选择的景点，考察景点规模和情绪中性等混杂因素的影响。
• 证明机器学习与大数据可作为传统心理学研究方法在自然环境中的补充手段。

提出的方法

• 从TripAdvisor收集418,000张旅游照片，按景点受欢迎程度、客观性（≥1,500票）、地理多样性（亚洲、欧洲、美洲）及景点类型多样性进行筛选，排除宗教场所。
• 开发基于卷积神经网络（CNN）的深度学习模型（CF-CNN），将照片分类为广角与窄角，其性能与人工标注者相当。
• 使用线性回归（公式1）建模景点评分（情绪状态的代理指标）与景点规模对照片视角偏好的影响，控制混杂变量。
• 开展三项实验：（1）高分/低分景点分析，（2）控制景点规模后的分析，（3）以YFCC100m数据集中10,000张图片作为随机基线，确立中性行为基准。
• 应用三倍标准差法则，定义高分（评分>9.0）与低分（评分<7.4）的阈值用于比较。
• 以广角照片比例为主要指标，比较不同景点类别中情绪状态（积极、中性、消极）的差异。

实验结果

研究问题

• RQ1 旅游景点的高评分是否与广角摄影使用频率显著相关？
• RQ2 高景点评分所反映的积极情绪是否导致更宽广的视觉注意力，体现为更宽广的照片构图？
• RQ3 景点规模如何影响照片视角偏好？该影响能否与情绪效应分离？
• RQ4 在中性情绪状态下，广角照片的基线比例是多少？与情绪化景点相比有何差异？
• RQ5 深度学习模型能否在大规模场景下准确分类照片视角，从而实现从大数据中进行大规模心理推断？

主要发现

• 高分旅游景点（评分>9.0）中，广角照片占比达76%，显著高于随机数据中的40%基线值。
• 低分景点（评分<7.4）的广角照片比例为41%，与随机基线几乎完全一致，表明情绪状态可能为中性或消极。
• 高分景点中广角照片比例的方差较低（6%），而低分景点中则较高（15.5%），表明情绪影响具有一致性。
• 在控制景点规模后，高分景点仍表现出显著更高的广角照片偏好，证实情绪效应独立于物理空间影响。
• 深度学习模型（CF-CNN）的分类准确度与人类表现相当，支持对照片视角进行可靠的大规模分析。
• 研究结果支持广博-建构理论在真实世界中的成立：积极情绪拓宽注意力，导致更宽广的摄影构图。