[论文解读] Finding Dory in the Crowd: Detecting Social Interactions using Multi-Modal Mobile Sensing

Kleomenis Katevas, Katrin Hänsel+4 more|arXiv (Cornell University)|Aug 30, 2018

Human Mobility and Location-Based Analysis参考文献 46被引用 4

一句话总结

本论文提出了一种基于智能手机的系统，利用多模态移动传感（蓝牙低功耗、加速度计和陀螺仪）在自然人群环境中检测一对一及群体社交互动。通过梯度提升树与社区检测技术，该系统实现了77.8%的精确率和86.5%的召回率，较基于距离的方法平均精确率高出30.2%，实现了隐私友好、设备无关的群体互动分析。

ABSTRACT

Remembering our day-to-day social interactions is challenging even if you aren't a blue memory challenged fish. The ability to automatically detect and remember these types of interactions is not only beneficial for individuals interested in their behavior in crowded situations, but also of interest to those who analyze crowd behavior. Currently, detecting social interactions is often performed using a variety of methods including ethnographic studies, computer vision techniques and manual annotation-based data analysis. However, mobile phones offer easier means for data collection that is easy to analyze and can preserve the user's privacy. In this work, we present a system for detecting stationary social interactions inside crowds, leveraging multi-modal mobile sensing data such as Bluetooth Smart (BLE), accelerometer and gyroscope. To inform the development of such system, we conducted a study with 24 participants, where we asked them to socialize with each other for 45 minutes. We built a machine learning system based on gradient-boosted trees that predicts both 1:1 and group interactions with 77.8% precision and 86.5% recall, a 30.2% performance increase compared to a proximity-based approach. By utilizing a community detection-based method, we further detected the various group formation that exist within the crowd. Using mobile phone sensors already carried by the majority of people in a crowd makes our approach particularly well suited to real-life analysis of crowd behavior and influence strategies.

研究动机与目标

• 开发一种无需定制硬件或计算机视觉技术、具备隐私保护特性的设备无关方法，用于在真实人群环境中检测社交互动。
• 通过多模态传感器融合与机器学习技术，提升检测精度，超越基于距离的方法。
• 在非受控社交聚会环境中，以高精确率和高召回率检测一对一及群体互动。
• 利用基于图的社区检测技术，识别人群中的动态群体构成。
• 提供一个公开可获取的、经过匿名化处理的自然一对一及群体互动数据集，供研究使用。

提出的方法

• 系统以100Hz的采样率从智能手机收集多模态传感器数据（BLE、加速度计、陀螺仪、设备运动状态、电池状态）。
• 从设备运动传感器中提取运动与方向特征，并作为梯度提升树分类器的输入，用于检测社交互动。
• 采用基于距离的基线方法进行对比，即仅通过BLE信号强度推断互动。
• 通过在参与者之间互动关系构建的图上应用社区检测算法，识别群体构成。
• 在一项真实世界研究中，24名参与者在一个非受控环境中自然互动45分钟，对系统进行评估。
• 采用匿名信标ID与传感器数据转换技术以保护用户隐私，同时可选使用Eddystone-EID与动态UUID轮换作为强化防护措施。

实验结果

研究问题

• RQ1 基于智能手机的系统能否在自然、非受控的人群环境中高精度地检测一对一及群体社交互动？
• RQ2 与仅依赖距离的方法相比，多模态移动传感（BLE、运动传感器）在检测社交互动方面表现如何？
• RQ3 基于图的社区检测能否有效从互动数据中识别人群中的动态群体构成？
• RQ4 在真实环境下，该系统在链路级、节点级与群体级互动检测中的性能如何？
• RQ5 该系统在收集敏感的运动与距离数据时，能够在多大程度上保护用户隐私？

主要发现

• 所提出的机器学习系统在链路级检测社交互动中实现了77.8%的精确率与86.5%的召回率，相较于基于距离的基线方法，平均精确率提升了30.2%。
• 在节点级，系统以71.09%的准确率正确将参与者分配至其所属互动群体，表明在群体成员识别方面表现优异。
• 在群体级，系统以75.19%的准确率检测到完整且正确的群体构成，证明其在识别集体互动结构方面的有效性。
• 研究证实，多模态传感器融合显著优于仅依赖距离的检测方法，尤其在区分真实互动与单纯接近方面表现突出。
• 电池消耗极低，数据采集期间每小时仅下降0.08%，表明持续感知的能耗开销极小。
• 作者发布了公开可获取的、经过匿名化处理的自然一对一及群体互动数据集，涵盖不同规模的互动，支持未来在人群行为与社交感知领域的研究。