[論文レビュー] Finding Dory in the Crowd: Detecting Social Interactions using Multi-Modal Mobile Sensing

Kleomenis Katevas, Katrin Hänsel+4 more|arXiv (Cornell University)|Aug 30, 2018

Human Mobility and Location-Based Analysis参考文献 46被引用数 4

ひとこと要約

本論文では、Bluetooth Low Energy、加速度計、ジャイロスコープを用いたマルチモーダルモバイルセンシングを活用したスマートフォンベースのシステムを提案し、自然な群衆環境下での1対1およびグループの社会的相互作用を検出する。勾配ブースティングツリーとコミュニティ検出を活用し、77.8%の精度と86.5%の再現率を達成。近接性ベースの手法と比較して平均精度が30.2%向上し、プライバシー配慮型でデバイスに依存しない群衆相互作用分析を可能にする。

ABSTRACT

Remembering our day-to-day social interactions is challenging even if you aren't a blue memory challenged fish. The ability to automatically detect and remember these types of interactions is not only beneficial for individuals interested in their behavior in crowded situations, but also of interest to those who analyze crowd behavior. Currently, detecting social interactions is often performed using a variety of methods including ethnographic studies, computer vision techniques and manual annotation-based data analysis. However, mobile phones offer easier means for data collection that is easy to analyze and can preserve the user's privacy. In this work, we present a system for detecting stationary social interactions inside crowds, leveraging multi-modal mobile sensing data such as Bluetooth Smart (BLE), accelerometer and gyroscope. To inform the development of such system, we conducted a study with 24 participants, where we asked them to socialize with each other for 45 minutes. We built a machine learning system based on gradient-boosted trees that predicts both 1:1 and group interactions with 77.8% precision and 86.5% recall, a 30.2% performance increase compared to a proximity-based approach. By utilizing a community detection-based method, we further detected the various group formation that exist within the crowd. Using mobile phone sensors already carried by the majority of people in a crowd makes our approach particularly well suited to real-life analysis of crowd behavior and influence strategies.

研究の動機と目的

• カスタムハードウェアやコンピュータビジョンを必要とせず、実世界の群衆環境下でプライバシーを配慮した、デバイスに依存しない社会的相互作用検出手法の開発。
• マルチモーダルセンサ融合と機械学習を用いて、近接性ベースの手法を上回る検出精度の向上。
• 制約のない社会的集まりにおいて、1対1およびグループの相互作用を高い精度と再現率で特定すること。
• グラフベースのコミュニティ検出を用いて、群衆内での動的なグループ形成を検出すること。
• 研究利用を目的として、公開可能で匿名化された自然な1対1およびグループ相互作用のデータセットの提供。

提案手法

• システムは、100HzのサンプリングレートでスマートフォンからBLE、加速度計、ジャイロスコープ、デバイスの運動状態、バッテリー状態といったマルチモーダルセンサデータを収集する。
• デバイスモーションセンサから抽出した運動および姿勢特徴量を、社会的相互作用を検出するための勾配ブースティングツリー分類器の入力として使用する。
• 比較のためのベースラインとして、近接性のみに依存する方法を用い、相互作用はBLE信号強度から推定する。
• グループ形成は、参加者間の相互作用リンクから構築したグラフにコミュニティ検出アルゴリズムを適用することで検出する。
• 実世界の研究において、24名の参加者が非制御環境下で45分間自然な社会的相互作用を実施した。
• ユーザーのプライバシーを保護するため、匿名化されたビーコンIDとセンサデータ変換技術を用いる。Eddystone-EIDおよび動的UUIDのローテーションを、より強固な対策として検討している。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンベースのシステムは、自然で制約のない群衆環境下で、1対1およびグループの社会的相互作用を高い精度で検出可能か？
• RQ2 BLEおよびモーションセンサを含むマルチモーダルモバイルセンシングは、近接性のみに依存する手法と比較して、社会的相互作用の検出においてどのように優れているか？
• RQ3 グラフベースのコミュニティ検出は、相互作用データから群衆内の動的なグループ形成を効果的に同定できるか？
• RQ4 実世界の条件下で、リンクレベル、ノードレベル、グループレベルにおける相互作用検出の性能はどの程度か？
• RQ5 感度の高い運動および近接性データ収集を実施するにあたり、システムはユーザーのプライバシーをどの程度保護できるか？

主な発見

• 提案された機械学習システムは、リンクレベルでの社会的相互作用検出において77.8%の精度と86.5%の再現率を達成。近接性ベースのベースラインと比較して平均精度が30.2%向上した。
• ノードレベルでは、参加者をその相互作用グループに正しく割り当てた割合が71.09%に達し、グループメンバーシップ検出において優れた性能を示した。
• グループレベルでは、完全かつ正確なグループ形成を75.19%の精度で検出でき、集団的な相互作用構造の同定において有効性を示した。
• 本研究では、マルチモーダルセンサ融合が、単なる近接性の検出をはるかに上回ることを確認した。特に、真の相互作用と単なる近接性を区別する点で顕著な優位性を示した。
• バッテリー消費は非常に少なく、データ収集中は1時間あたり0.08%の低下にとどまり、継続的なセンシングにおけるエネルギー効率が優れていることを示した。
• 著者らは、さまざまなサイズの自然な1対1およびグループ相互作用の、公開可能で匿名化されたデータセットを提供した。今後の群衆行動および社会的センシング分野の研究を支援する。