[논문 리뷰] Multiple Human Association between Top and Horizontal Views by Matching Subjects' Spatial Distributions

Ruize Han, Yujun Zhang외 6명|arXiv (Cornell University)|2019. 07. 26.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 11

한 줄 요약

이 논문은 기하학 기반의 벡터 표현과 일치 비용 함수를 사용하여 상하좌우 시점(드론)과 수평 시점(웨어러블 카메라) 영상 간의 주제 간 공간 분포를 일치시켜, 서로 다른 시점 간의 주제 연동을 위한 새로운 방법을 제안한다. 카메라의 위치와 시점 각도를 추정한다. 새로운 데이터셋에서 평균 정밀도 79.6%와 평균 재현율 77.0%를 달성하며, 특히 가림과 변동하는 주제 겹침을 다룰 때 기존 기준 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Video surveillance can be significantly enhanced by using both top-view data, e.g., those from drone-mounted cameras in the air, and horizontal-view data, e.g., those from wearable cameras on the ground. Collaborative analysis of different-view data can facilitate various kinds of applications, such as human tracking, person identification, and human activity recognition. However, for such collaborative analysis, the first step is to associate people, referred to as subjects in this paper, across these two views. This is a very challenging problem due to large human-appearance difference between top and horizontal views. In this paper, we present a new approach to address this problem by exploring and matching the subjects' spatial distributions between the two views. More specifically, on the top-view image, we model and match subjects' relative positions to the horizontal-view camera in both views and define a matching cost to decide the actual location of horizontal-view camera and its view angle in the top-view image. We collect a new dataset consisting of top-view and horizontal-view image pairs for performance evaluation and the experimental results show the effectiveness of the proposed method.

연구 동기 및 목표

• 외관 차이가 극심한 상황에서 감시 영상 스트림 간 다수의 주제를 상하좌우 시점에서 연동하는 데 도전하는 것.
• 카메라의 시점 방향에 대한 가정이나 일관된 운동 방향에 의존하는 기존 방법의 한계를 극복하는 것.
• 외관이나 운동 특징이 아닌 공간 기하학적 특징을 활용하여 강인한 상하좌우 시점 주제 연동 방법을 개발하는 것.
• 평가를 위해 지도된 주제 연동 정보가 포함된 새로운 상하좌우 시점 영상 쌍 데이터셋을 수집하고 공개하는 것.
• 주로 일부 주제만 공유되거나 가림이 발생할 경우에도 정확한 주제 연동을 가능하게 하는 것.

제안 방법

• 수평 시점 영상에서 검출된 주제의 공간 분포를 주제 크기와 상대적 위치 기반 2차원 벡터로 모델링하여 벡터 집합 V^hor를 구성한다.
• 상하좌우 시점 영상의 각 검출 주제 및 잠재적인 카메라 위치/방향에 대해 가시 주제의 기대 공간 분포를 추정한다.
• 후보 카메라 위치와 각도에서 상하좌우 시점에서 보이는 주제에 대해 대응하는 벡터 집합 V^top를 구성한다.
• V^hor와 V^top 간의 일치 비용 함수를 정의하여 공간 분포 유사도를 평가하고 최적의 카메라 위치와 시점 각도를 최적화한다.
• 일치 비용을 최소화하기 위해 상하좌우 시점 영상 내 가능한 카메라 위치와 시점 각도를 탐색하는 게으른 탐색 전략을 사용한다.
• 벡터 표현 구성 시 가려진 주제를 식별하고 제외하여 단순한 가림 처리 전략을 통합한다.

실험 결과

연구 질문

• RQ1 외관 차이가 극심한 상황에서 상하좌우 시점 간 공간 분포 일치가 주제 연동 성능을 향상시킬 수 있는가?
• RQ2 다양한 수의 연동 주제와 두 시점 간 공유 주제 비율이 변할 경우 제안된 방법의 성능는 어떻게 되는가?
• RQ3 가림이 주제 연동 성능에 미치는 영향은 어느 정도이며, 효과적으로 완화될 수 있는가?
• RQ4 주로 일부 주제만 두 시점에서 동시에 가시할 경우(예: 주제가 뷰포트 외부에 있을 경우)에도 방법이 일반화 가능한가?
• RQ5 외관 기반 또는 운동 기반 재식별 방법과 비교할 때 제안된 방법은 강인성과 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 전체 데이터셋에서 평균 정밀도 79.6%와 평균 재현율 77.0%를 달성하며, 수동 및 자동 기준 방법을 모두 초월한다.
• 연동 주제 수가 너무 적거나 너무 많을 경우 성능이 저하되어 흐린 또는 붐비는 환경에서의 과제를 보여준다.
• 공유 주제 비율이 높은 영상 쌍에서도 성능이 우수하며, 공유 주제 비율이 증가할수록 정밀도와 재현율이 증가한다.
• 가림 처리 기능이 성능 향상에 기여하여, 가림이 있는 부분에서의 평균 재현율을 65.1%에서 74.5%로 높였다.
• 공유되지 않는 주제 수가 많은 경우(예: 한 시점에서나 두 시점에서 모두 뷰포트 외부에 있는 주제)에도 성공적으로 처리하여 부분적 겹침에 대한 강인성을 입증했다.
• 실패 사례는 주로 주제 검출 오류나 높은 주제 밀도로 인한 가림 오분류에서 기인하며, 검출 정확도의 한계를 드러낸다.