[논문 리뷰] Finding Dory in the Crowd: Detecting Social Interactions using Multi-Modal Mobile Sensing

Kleomenis Katevas, Katrin Hänsel외 4명|arXiv (Cornell University)|2018. 08. 30.

Human Mobility and Location-Based Analysis참고 문헌 46인용 수 4

한 줄 요약

이 논문은 자연스러운 군중 환경에서 1:1 및 그룹 사회적 상호작용을 탐지하기 위해 블루투스 저전력(Bluetooth Low Energy), 가속도계, 자이로스코프를 활용한 다중 모odal 모바일 센싱을 사용하는 스마트폰 기반 시스템을 제시한다. 기울기 부스팅 트리와 커뮤니티 탐지 기법을 활용해 77.8% 정밀도와 86.5% 재현도를 달성하였으며, 접근 기반 방법 대비 평균 정밀도 30.2% 향상으로 사생활 친화적이고 기기 종속적이지 않은 군중 상호작용 분석을 가능하게 한다.

ABSTRACT

Remembering our day-to-day social interactions is challenging even if you aren't a blue memory challenged fish. The ability to automatically detect and remember these types of interactions is not only beneficial for individuals interested in their behavior in crowded situations, but also of interest to those who analyze crowd behavior. Currently, detecting social interactions is often performed using a variety of methods including ethnographic studies, computer vision techniques and manual annotation-based data analysis. However, mobile phones offer easier means for data collection that is easy to analyze and can preserve the user's privacy. In this work, we present a system for detecting stationary social interactions inside crowds, leveraging multi-modal mobile sensing data such as Bluetooth Smart (BLE), accelerometer and gyroscope. To inform the development of such system, we conducted a study with 24 participants, where we asked them to socialize with each other for 45 minutes. We built a machine learning system based on gradient-boosted trees that predicts both 1:1 and group interactions with 77.8% precision and 86.5% recall, a 30.2% performance increase compared to a proximity-based approach. By utilizing a community detection-based method, we further detected the various group formation that exist within the crowd. Using mobile phone sensors already carried by the majority of people in a crowd makes our approach particularly well suited to real-life analysis of crowd behavior and influence strategies.

연구 동기 및 목표

• 사용자 맞춤 하드웨어나 컴퓨터 비전 없이 실제 군중 환경에서 사생활을 보호하고 기기 종속적이지 않은 사회적 상호작용 탐지 방법을 개발하기 위해.
• 다중 모달 센서 융합과 머신러닝을 활용해 접근 기반 방법을 초월하는 탐지 정확도를 향상시키기 위해.
• 제약 없는 사회적 모임에서 1:1 및 그룹 상호작용을 높은 정밀도와 재현도로 식별하기 위해.
• 그래프 기반 커뮤니티 탐지 기법을 사용해 군중 내 동적 그룹 형성 구조를 탐지하기 위해.
• 미래 연구를 위해 공개 가능한 익명화된 데이터셋을 제공하기 위해 — 자연스러운 1:1 및 그룹 상호작용을 포함한 다양한 크기의 상호작용 데이터셋

제안 방법

• 시스템은 100Hz의 샘플링 레이트로 스마트폰에서 블루투스 저전력(BLE), 가속도계, 자이로스코프, 기기 동작, 배터리 상태 등의 다중 모달 센서 데이터를 수집한다.
• 기기 동작 센서에서 추출한 동작 및 자세 특징을 활용해 기울기 부스팅 트리 분류기의 입력으로 사용하여 사회적 상호작용을 탐지한다.
• 비교를 위해 접근 기반 베이스라인을 사용하며, 이 경우 상호작용은 단지 BLE 신호 강도에 기반해 유추된다.
• 참가자 간 상호작용 링크로 구성된 그래프에 커뮤니티 탐지 알고리즘을 적용하여 그룹 형성을 탐지한다.
• 실제 실험은 24명의 참가자가 비통제 환경에서 45분 동안 자연스러운 사회적 상호작용을 하는 동안 수행되었다.
• 사용자 프라이버시를 보호하기 위해 익명화된 빔퍼 비콘 ID와 센서 데이터 변환 기법을 사용하며, Eddystone-EID 및 동적 UUID 회전을 통해 추가적인 보안 조치를 고려할 수 있다.

실험 결과

연구 질문

• RQ1 스마트폰 기반 시스템은 자연스럽고 제약 없는 군중 환경에서 1:1 및 그룹 사회적 상호작용을 고정밀도로 탐지할 수 있는가?
• RQ2 블루투스 저전력(BLE) 및 동작 센서를 포함한 다중 모달 모바일 센싱은 접근 기반 방법에 비해 사회적 상호작용 탐지에서 어떻게 비교되는가?
• RQ3 그래프 기반 커뮤니티 탐지 기법은 상호작용 데이터로부터 군중 내 동적 그룹 형성 구조를 효과적으로 식별할 수 있는가?
• RQ4 실제 환경 조건에서 시스템은 링크, 노드, 그룹 수준에서 상호작용 탐지 성능이 어떻게 되는가?
• RQ5 민감한 동작 및 접근 데이터 수집 중 사용자 프라이버시를 얼마나 효과적으로 보존할 수 있는가?

주요 결과

• 제안된 머신러닝 시스템은 링크 수준에서 사회적 상호작용 탐지에 77.8% 정밀도와 86.5% 재현도를 달성하였으며, 접근 기반 베이스라인 대비 평균 정밀도 30.2% 향상되었다.
• 노드 수준에서 시스템은 참가자를 각각의 상호작용 그룹에 71.09% 정확도로 정확히 할당하여 그룹 소속 탐지 성능이 뛰어나다는 것을 보여주었다.
• 그룹 수준에서 시스템은 완전하고 정확한 그룹 형성을 75.19% 정확도로 탐지하여 집단적 상호작용 구조 식별의 효과성을 입증하였다.
• 연구는 다중 모달 센서 융합이 접근 기반 탐지보다 뚜렷이 뛰어나며, 특히 진짜 상호작용과 단순한 근접성 간의 구분에서 뛰어난 성능을 보임을 확인하였다.
• 배터리 소모는 매우 미미했으며, 데이터 수집 중 시간당 0.08%의 감소만을 보였고, 지속적인 센싱에 있어 낮은 에너지 오버헤드를 의미한다.
• 저자들은 향후 군중 행동 및 사회적 센싱 분야 연구를 지원하기 위해 자연스러운 1:1 및 그룹 상호작용을 포함한 공개 가능한 익명화된 데이터셋을 제공하였다.