[논문 리뷰] Single Image Human Proxemics Estimation for Visual Social Distancing

Maya Aghaei, Matteo Bustreo외 4명|arXiv (Cornell University)|2020. 11. 03.

Video Surveillance and Tracking Methods참고 문헌 62인용 수 4

한 줄 요약

이 논문은 단일 校정되지 않은 이미지를 사용하여 사회적 거리 측정을 반자동으로 추정하는 방법을 제안한다. 지면 평면과 이미지 평면 사이의 호모그래피를 직관적인 보조 비율을 통해 추정한 후, 특히 흉부 길이를 포함한 신체 관절 검출을 활용하여 메트릭 거리 간격을 추론한다. 이 방법은 적응된 공개 데이터셋에서 베이스라인을 능가하며, 감시 환경에서 실시간 위반 탐지가 가능하다. 주요 기여는 사회적 거리 측정, 강력한 메트릭 기준 선택, 실제 환경에의 구현이다.

ABSTRACT

In this work, we address the problem of estimating the so-called "Social Distancing" given a single uncalibrated image in unconstrained scenarios. Our approach proposes a semi-automatic solution to approximate the homography matrix between the scene ground and image plane. With the estimated homography, we then leverage an off-the-shelf pose detector to detect body poses on the image and to reason upon their inter-personal distances using the length of their body-parts. Inter-personal distances are further locally inspected to detect possible violations of the social distancing rules. We validate our proposed method quantitatively and qualitatively against baselines on public domain datasets for which we provided groundtruth on inter-personal distances. Besides, we demonstrate the application of our method deployed in a real testing scenario where statistics on the inter-personal distances are currently used to improve the safety in a critical environment.

연구 동기 및 목표

• 비구속적이고 校정되지 않은 감시 환경에서 사회적 거리 준수를 위한 메트릭 거리 간격을 추정하는 데 도전하는 것.
• 사용자가 직관적으로 정의한 비율을 활용해 지면 평면과 이미지 평면 간의 호모그래피 추정을 위한 실용적이고 반자동적인 솔루션을 개발하는 것.
• 교정되지 않은 환경에서 거리 추론을 위한 가장 신뢰할 수 있는 인간 신체 부위(예: 흉부)를 식별하는 것.
• 지상 진실값 거리 간격이 있는 적응된 공개 데이터셋을 기반으로 방법의 정량적 및 정성적 검증을 수행하는 것.
• 공항 및 사무소와 같은 핵심 환경에서 24/7 모니터링과 통계 분석을 위한 실제 환경에 시스템을 구현하는 것.

제안 방법

• 사용자가 수동으로 선택한 두 개의 보조 시점 비율을 사용하여 지면 평면과 이미지 평면 간의 호모그래피 행렬을 추정함으로써, 완전한 카메라 校정 없이도 메트릭 추론이 가능하도록 하는 것.
• 오픈소스 2D 자세 추정기(예: OpenPose)를 활용해 인간의 신체 관절을 검출하고, 이를 메트릭 기준으로서의 신체 부위 길이를 추출하는 것.
• 일반적인 움직임에서의 변형이 최소화되고 구조적 안정성이 높기 때문에, 흉부 길이가 가장 강력한 메트릭 기준이 되는 것.
• 추정된 호모그래피와 신체 관절 좌표를 사용하여 이미지 내 사람 간 거리를 계산하고, 사회적 거리 규칙(예: ≤2m) 위반 여부를 확인하는 것.
• 각 사람마다 국소 기준 프레임을 적용하여 쌍별 거리를 추론하고, 겹치는 안전 영역(프록세믹스)을 탐지함으로써 위반 여부를 확인하는 것.
• 최대 18대의 카메라로 1fps 속도로 실시간 감시 환경에서 시스템을 구현하며, 통계 분석을 통해 공간 재설계 및 경고 기능을 지원하는 것.

Figure 1: An example of the output of our proposed pipeline. The pedestrians are modeled as skeletal figures and each disc on the ground plane represents the minimum allowed inter-personal distance. The violation of social distancing is shown in red.

실험 결과

연구 질문

• RQ1 사용자가 직관적으로 정의한 비율을 사용한 반자동 호모그래피 추정 방법이 校정되지 않은 감시 이미지에서 정확한 메트릭 추론을 달성할 수 있는가?
• RQ2 어느 인간 신체 부위(흉부, 팔, 다리)가 校정되지 않은 환경에서 사람 간 거리 추정에 가장 신뢰할 수 있는 메트릭 기준이 되는가?
• RQ3 자동 호모그래피 추정(예: AutoRect) 및 경계 상자 기반의 기준을 사용하는 기존 방법과 비교해 본다면, 이 방법은 校정되지 않은 데이터에서 정확도 측면에서 어떻게 성과를 내는가?
• RQ4 실제로 제약이 있는 환경에서 실시간 구현이 가능한 시스템이 사회적 거리 위반을 어느 정도 잘 탐지할 수 있는가?
• RQ5 특히 시간적 일관성과 가족 단위 그룹 탐지 측면에서, 이러한 시스템을 실제 감시 환경에 구현할 때의 주요 과제와 한계는 무엇인가?

주요 결과

• 제안된 반자동 호모그래피 추정 방법은 AutoRect와 같은 자동 방법보다 사람 간 거리 추정에서 더 우수한 성능을 보이며, 사용자가 선택한 비율이 지상 진실값 호모그래피와 강한 일치를 보였다.
• 흉부 길이를 메트릭 기준으로 사용할 경우 변형과 가림이 적어 가장 일관되고 정확한 거리 추정이 가능했으며, 팔이나 다리 길이보다 성능이 뛰어났다.
• 경계 상자 기반의 메트릭 기준은 성능이 열악하여, 신뢰할 수 있는 메트릭 추론을 위해서는 세부적인 관절 정보가 필수적임을 시사한다.
• 최신 기술 기준과 비교해도 양호한 성능을 기록했으며, 특히 Monoloco의 훈련 데이터에 의해 편향되는 시퀀스에서는 더욱 뛰어난 성능을 보였다.
• 시스템은 공항, 사무소 등 실제 환경에서 성공적으로 구현되었으며, 시간당 10만 건 이상의 관측을 처리하고 실시간 경고 및 통계 분석을 통해 공간 재설계를 지원하였다.
• 한계점으로는 자세 검출기 정확도에 의존성이 높고, 여러 개의 호모그래피 또는 비균일한 카메라 투영이 존재하는 장면에서는 성능 저하가 발생함을 확인했다.

Figure 2: A schematic representation of our proposed pipeline for estimation of safe space and detection of its violation, comprised of three main computational stages: body-joint detection, body height estimation for metric inference, and ground-plane geometry estimation.