[논문 리뷰] ConfLab: A Data Collection Concept, Dataset, and Benchmark for Machine Analysis of Free-Standing Social Interactions in the Wild

Chirag Raman, Jose Vargas-Quiros외 4명|arXiv (Cornell University)|2022. 05. 10.

Human Mobility and Location-Based Analysis인용 수 4

한 줄 요약

ConfLab는 실외 사회적 상호작용을 위한 기존의 새로운, 프라이버시를 고려한 다중모달 데이터 수집 프레임워크를 소개한다. 고해상도 천장 카메라와 착용형 9축 가속도계를 사용하여 실제 컨퍼런스에서 48명의 참가자로부터 고정밀도, 동기화된 데이터를 캡처한다. 이 데이터셋은 자세 추정, 화자 감지, F-formation 분석 분야에서 새로운 벤치마크를 제공하며, 최소한의 음성 및 신체 운동 신호를 사용하여도 키포인트 검출(AP75: 0.82)과 화자 감지(AUC: 0.92)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recording the dynamics of unscripted human interactions in the wild is challenging due to the delicate trade-offs between several factors: participant privacy, ecological validity, data fidelity, and logistical overheads. To address these, following a 'datasets for the community by the community' ethos, we propose the Conference Living Lab (ConfLab): a new concept for multimodal multisensor data collection of in-the-wild free-standing social conversations. For the first instantiation of ConfLab described here, we organized a real-life professional networking event at a major international conference. Involving 48 conference attendees, the dataset captures a diverse mix of status, acquaintance, and networking motivations. Our capture setup improves upon the data fidelity of prior in-the-wild datasets while retaining privacy sensitivity: 8 videos (1920x1080, 60 fps) from a non-invasive overhead view, and custom wearable sensors with onboard recording of body motion (full 9-axis IMU), privacy-preserving low-frequency audio (1250 Hz), and Bluetooth-based proximity. Additionally, we developed custom solutions for distributed hardware synchronization at acquisition and time-efficient continuous annotation of body keypoints and actions at high sampling rates. Our benchmarks showcase some of the open research tasks related to in-the-wild privacy-preserving social data analysis: keypoints detection from overhead camera views, skeleton-based no-audio speaker detection, and F-formation detection.

연구 동기 및 목표

• 실생활 환경에서 비스토리어드, 고정밀도, 프라이버시를 고려한 데이터셋의 부족을 해결하기 위해.
• 자연스러운 환경에서 F-formation, 화자 교대, 신체 제스처 인식과 같은 세밀한 사회적 역학 연구를 가능하게 하기 위해.
• 이전 데이터셋의 한계인 부정확한 자세 레이블링, 참가자 수 부족, 부족한 시간 해상도 문제를 해결하기 위해.
• 윤리적 고려사항을 센서 설계 및 데이터 수집 과정에 통합한 공동체 중심의 데이터 수집 모델을 구축하기 위해.
• 최소한의 음성 데이터와 전체 신체 운동 데이터를 활용한 사회적 행동 분석의 기준을 제공하기 위해.

제안 방법

• 8대의 1080p@60fps 천장 카메라와 9축 가속도계를 탑재한 맞춤형 착용형 장치, 프라이버시를 고려한 1250 Hz 음성 데이터, 블루투스 기반의 근접도 추적 기능을 포함한 분산형 센서 설정을 구현하였다.
• 고유한 하드웨어 동기화 프로토콜을 사용하여 여러 센서 스트림 간에 약 13ms의 지연을 가진 서브세컨드 수준의 교차모달 동기화를 구현하였다.
• 시간 효율적인 연속 레이블링 파이프라인을 통해 17개의 전신 관절점과 사회적 행동에 대한 연속적인 고속 레이블링을 수행하였다.
• 공동체에서 온 공동체를 위한 정신을 바탕으로, 신규 참가자, 베테랑, 네트워킹, 앎이 있는 관계를 가진 다양한 사회적 동기를 가진 48명의 실제 컨퍼런스 참가자를 모집하였다.
• 3개의 핵심 벤치마크를 개발하고 평가하였다: 상향식 자세 추정, 음성 없음 기반의 스켈레톤 기반 화자 감지, 신체 자세에서의 F-formation 감지.
• RSN을 통한 키포인트 검출, IMU 기반 화자 분류를 위한 Minirocket, F-formation 분석을 위한 GTCG/GCFF를 포함한 고급 모델을 적용하였다.

실험 결과

연구 질문

• RQ1 실생활 사회적 상황에서 자연스러운 행동에 영향을 주지 않으면서도 고정밀도, 프라이버시를 고려한 생태학적으로 타당한 데이터를 수집할 수 있는가?
• RQ2 제한 없는 실외 환경에서 천장 카메라 시각으로부터 신체 관절점을 얼마나 정확하게 검출할 수 있는가?
• RQ3 직접적인 얼굴 또는 음성 데이터 없이, 오직 신체 운동(IMU)과 저대역폭 음성 데이터만을 사용하여 화자 상태를 얼마나 정확히 예측할 수 있는가?
• RQ4 얼굴이나 음성 신호에 의존하지 않고도 전신 자세 데이터만으로 F-formation 구성 구조를 신뢰성 있게 감지할 수 있는가?
• RQ5 다양한 센서 모달리티의 통합이 자연주의적 환경에서 사회적 행동 분석의 정확도를 얼마나 향상시키는가?

주요 결과

• ConfLab 데이터셋은 천장 카메라 시각에서 17개의 관절점 검출에 대해 평균 정밀도(AP75) 0.82를 달성하여, 상향 시각의 도전 과제에도 불구하고 뛰어난 성능을 보였다.
• 오직 IMU 데이터만을 사용한 화자 상태 감지에서 AUC 0.92를 기록하여, 얼굴이나 시각적 얼굴 데이터 없이도 신체 운동만으로도 화자 전환을 효과적으로 식별할 수 있음을 입증하였다.
• GTCG 및 GCFF 방법을 사용한 F-formation 감지에서 여러 카메라에 걸쳐 평균 F1 점수 0.75 이상을 달성하여, 사회적 상호작용 기하학이 자세 데이터로부터 유추될 수 있음을 입증하였다.
• 하체 관절점의 추가로 키포인트 검출 성능이 크게 향상되었으며, AP75가 0.75에서 0.82로 상승하여 다리 움직임이 자세 추정에 의미 있는 기여를 한다는 것을 시사하였다.
• 서브세컨드 수준의 교차모달 동기화(~13ms 지연)를 달성하여, 사회적 상호작용의 세밀한 시간 분석이 가능해졌다.
• 48명의 참가자와 다양한 사회적 동기를 가진 참가자들이 포함된 실생활 환경에서 그룹 분리 및 융합과 같은 복잡한 사회적 역학을 지원하였다.