[論文レビュー] Single Image Human Proxemics Estimation for Visual Social Distancing

Maya Aghaei, Matteo Bustreo+4 more|arXiv (Cornell University)|Nov 3, 2020

Video Surveillance and Tracking Methods参考文献 62被引用数 4

ひとこと要約

本稿では、一括未キャリブレーション画像から社会的距離を推定するための半自動的手法を提案する。地面平面と画像平面の間のホモグラフィーを直感的な補助比を用いて推定し、特に体幹長さを用いたボディジョイント検出を活用してメトリック的な人間同士の距離を推定する。適応された公開データセット上でベースラインを上回る性能を示し、監視環境においてリアルタイムでの違反検出を可能にする。主な貢献は、プロキミクス推定、ロバストなメトリック基準選定、および実環境への導入である。

ABSTRACT

In this work, we address the problem of estimating the so-called "Social Distancing" given a single uncalibrated image in unconstrained scenarios. Our approach proposes a semi-automatic solution to approximate the homography matrix between the scene ground and image plane. With the estimated homography, we then leverage an off-the-shelf pose detector to detect body poses on the image and to reason upon their inter-personal distances using the length of their body-parts. Inter-personal distances are further locally inspected to detect possible violations of the social distancing rules. We validate our proposed method quantitatively and qualitatively against baselines on public domain datasets for which we provided groundtruth on inter-personal distances. Besides, we demonstrate the application of our method deployed in a real testing scenario where statistics on the inter-personal distances are currently used to improve the safety in a critical environment.

研究の動機と目的

• 制約のない、キャリブレーションのない監視シーンにおいて、メトリック的な人間同士の距離を推定する課題に対処すること。
• 地面平面と画像平面の間のホモグラフィー推定のための実用的で半自動的なソリューションを、直感的なユーザー定義比を用いて開発すること。
• キャリブレーションのない環境において距離推定のためのメトリック基準として、最も信頼性の高い人体部位（例：体幹）を同定すること。
• 地面真値の距離が与えられた適応済み公開データセットを用いて、定量的および定性的に手法を検証すること。
• 空港やオフィスなどの重要な環境で24時間体制での監視と統計的分析を可能にする、実環境へのシステム導入を実証すること。

提案手法

• 地面平面と画像平面の間のホモグラフィー行列を、2つの手動選択された補助的視点比を用いて推定し、完全なカメラキャリブレーションなしでメトリック推論を可能にする。
• オフザシェルフの2次元ポーズ推定器（例：OpenPose）を用いて人体ジョイントを検出し、メトリック基準としての身体部位長さを抽出する。
• 体幹長さを最もロバストなメトリック基準として用いる。これは構造的安定性が高く、通常の動きにおける変形が最小限であるため。
• 推定されたホモグラフィーとボディジョイント座標を用いて画像上での人間同士の距離を計算し、社会的距離規則（例：≤2m）に違反しているかをチェックする。
• 各人物ごとに局所基準座標系を導入し、ペairワイズ距離を推定し、重複する安全空間（プロキミクス）を検出することで違反を特定する。
• 18台のカメラまでを用いて1秒間に1フレームの速度で実環境の監視シナリオにシステムを導入し、統計的分析を用いて空間再設計を支援するとともにアラートを発行する。

Figure 1: An example of the output of our proposed pipeline. The pedestrians are modeled as skeletal figures and each disc on the ground plane represents the minimum allowed inter-personal distance. The violation of social distancing is shown in red.

実験結果

リサーチクエスチョン

• RQ1 直感的なユーザー定義比を用いた半自動ホモグラフィー推定法は、キャリブレーションのない監視画像において、正確なメトリック推論を達成できるか？
• RQ2 キャリブレーションのない環境において、人間同士の距離推定に最も信頼性の高い人体部位（体幹、腕、脚）はどれか？
• RQ3 本手法は、自動ホモグラフィー推定（例：AutoRect）およびボクシングボックスを用いたベースライン手法と比較して、キャリブレーションのないデータにおいてどれほど高い精度を達成するか？
• RQ4 本システムは、リアルタイムでの導入が可能な実環境の制約のない環境で、社会的距離違反をどの程度正確に検出できるか？
• RQ5 特に時間的整合性と家族グループ検出の観点から、このようなシステムを実環境の監視設定に導入する際の主な課題と制限は何か？

主な発見

• 提案手法の半自動ホモグラフィー推定は、AutoRectなどの自動手法を上回り、ユーザーが選択した比が真値ホモグラフィーと強く一致することが示された。
• 体幹長さをメトリック基準として用いることで、変形や隠蔽の少ない安定した距離推定が得られ、腕や脚の長さを用いる場合に比べて一貫性と正確性に優れた結果が得られた。
• ボクシングボックスに基づくメトリック基準では性能が著しく低く、信頼性の高いメトリック推論には詳細なボディジョイント情報が必要であることが明らかになった。
• 最先端のベースライン（例：Monoloco）と比較して、本手法は良好な性能を示した。特にMonolocoの学習データに偏りがあるシーケンスでは顕著な優位性を示した。
• 本システムは空港やオフィスなど実環境で成功裏に導入され、1時間に10万件以上の観測を処理し、リアルタイムのアラート発行と空間再設計のための統計的分析を可能にした。
• 制限事項として、ポーズ検出器の精度依存性や、複数のホモグラフィーが存在する場面、非一様なカメラ投影が生じる場面での性能低下が確認された。

Figure 2: A schematic representation of our proposed pipeline for estimation of safe space and detection of its violation, comprised of three main computational stages: body-joint detection, body height estimation for metric inference, and ground-plane geometry estimation.