[論文レビュー] ConfLab: A Data Collection Concept, Dataset, and Benchmark for Machine Analysis of Free-Standing Social Interactions in the Wild

Chirag Raman, Jose Vargas-Quiros+4 more|arXiv (Cornell University)|May 10, 2022

Human Mobility and Location-Based Analysis被引用数 4

ひとこと要約

ConfLabは、屋上カメラとウェアラブル9軸IMUを用いて、実際の国際会議で48名の参加者から高精細で同期されたマルチモーダルデータを収集する、プライバシーに配慮した新しいデータ収集フレームワークを紹介する。このデータセットにより、ポーズ推定、発話者検出、F-フォーメーション解析の新しいベンチマークが可能となり、最小限の音声および身体運動の手がかりを用いて、キーポoin検出（AP75: 0.82）と発話者検出（AUC: 0.92）で最先端の結果を達成した。

ABSTRACT

Recording the dynamics of unscripted human interactions in the wild is challenging due to the delicate trade-offs between several factors: participant privacy, ecological validity, data fidelity, and logistical overheads. To address these, following a 'datasets for the community by the community' ethos, we propose the Conference Living Lab (ConfLab): a new concept for multimodal multisensor data collection of in-the-wild free-standing social conversations. For the first instantiation of ConfLab described here, we organized a real-life professional networking event at a major international conference. Involving 48 conference attendees, the dataset captures a diverse mix of status, acquaintance, and networking motivations. Our capture setup improves upon the data fidelity of prior in-the-wild datasets while retaining privacy sensitivity: 8 videos (1920x1080, 60 fps) from a non-invasive overhead view, and custom wearable sensors with onboard recording of body motion (full 9-axis IMU), privacy-preserving low-frequency audio (1250 Hz), and Bluetooth-based proximity. Additionally, we developed custom solutions for distributed hardware synchronization at acquisition and time-efficient continuous annotation of body keypoints and actions at high sampling rates. Our benchmarks showcase some of the open research tasks related to in-the-wild privacy-preserving social data analysis: keypoints detection from overhead camera views, skeleton-based no-audio speaker detection, and F-formation detection.

研究の動機と目的

• 実世界の状況下で、高精細で生態的妥当性があり、かつプライバシーを配慮したデータセットが、未発話の社会的相互作用を分析するうえで不足している現状に対処すること。
• 自然環境におけるF-フォーメーション、発話者交代、身体ジェスチャー認識といった、詳細な社会的ダイナミクスに関する研究を可能にすること。
• 過去のデータセットに見られる限界、例えば不十分なポーズアノテーション、参加者数の少なさ、時間分解能の低さを克服すること。
• センサー設計およびデータ収集に倫理的配慮を統合した、コミュニティ主導のデータ収集モデルを確立すること。
• 最小限の音声と全身の運動データを用いた、社会行動の機械的分析のベンチマークを提供すること。

提案手法

• 8台の1080p@60fps屋上カメラと、9軸IMU、プライバシー配慮型1250 Hz音声、Bluetooth近接測定を備えたカスタムウェアラブルデバイスを用いた分散型センサーセットアップを実装した。
• カスタムハードウェア同期プロトコルを用いて、複数のセンサーストリーム間で13 ms程度の遅延でサブ秒単位のクロスマダル同期を実現した。
• 時間効率の良い継続的ラベル付けパイプラインを用いて、17個の全身キーポイントと社会的行動の継続的かつ高レートのアノテーションを収集した。
• コミュニティが自分自身のために、自分自身のためのという精神に基づき、多様な社会的動機（新参者、ベテラン、ネットワーキング、知人）を持つ48名の実際の国際会議参加者を参加者として募った。
• 3つの主要なベンチマークを開発・評価した：トップダウンポーズ推定、音声なしのスケルトンベース発話者検出、全身ポーズからのF-フォーメーション検出。
• RSNによるキーポイント検出、MinirocketによるIMUベース発話者分類、GTCG/GCFFによるF-フォーメーション分析といった高度なモデルを適用した。

実験結果

リサーチクエスチョン

• RQ1 実世界の社会的状況において、自然な行動に影響を与えることなく、高精細でプライバシー配慮型かつ生態的妥当性のあるデータ収集が可能か？
• RQ2 制約のない屋外環境における屋上カメラ視点から、身体キーポイントの検出はどの程度正確に行えるか？
• RQ3 顔や声データを直接得ることなく、身体運動（IMU）と低帯域幅音声のみを用いて、発話者状態をどの程度正確に予測できるか？
• RQ4 顔や音声の手がかりに依存せず、全身ポーズデータのみからF-フォーメーション構成を信頼性高く検出できるか？
• RQ5 複数のセンサーモダリティを統合することで、自然環境における社会的行動分析の正確性はどの程度向上するか？

主な発見

• 屋上カメラ視点からの17キーポイント検出において、ConfLabデータセットは平均平均適合度（AP75）0.82を達成し、トップダウン視点の課題にもかかわらず優れた性能を示した。
• 音声データなしのIMUデータのみを用いた発話者状態検出はAUC 0.92を達成し、顔や声のデータなしで身体運動の情報のみで発話ターンを効果的に特定できることを示した。
• GTCGおよびGCFF手法を用いたF-フォーメーション検出は、複数のカメラで平均してF1スコアが0.75以上を達成し、ポーズデータから社会的相互作用の幾何学的構造を推定できることを実証した。
• 下肢キーポイントの追加により、キーポイント検出性能が著しく向上し、AP75は0.75から0.82に上昇した。これは、脚の動きがポーズ推定に有意義に寄与していることを示している。
• システムはサブ秒単位のクロスマダル同期（約13 msの遅延）を達成し、社会的相互作用の細かい時間的分析を可能にした。
• 48名の参加者と多様な社会的動機が含まれる実世界の状況下で、グループの分裂や合体といった複雑な社会的ダイナミクスがデータセットで捉えられた。