[논문 리뷰] Deformable Distributed Multiple Detector Fusion for Multi-Person Tracking

J. Andy, Pong C. Yuen외 1명|arXiv (Cornell University)|2015. 12. 18.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 6

한 줄 요약

이 논문은 병동 환경에서의 다중 인체 추적을 위해 RGBD 데이터를 활용한 탄성 변형 분산 다중 검출기 융합 프레임워크를 제안한다. 영역별 검출기(예: 전신 및 머리)의 검출 결과를 융합하고 탄성 변형 공간 관계를 모델링함으로써, 추적 오류 감소와 자세 변화에 대한 강건성 향상을 달성하여 실제 병동 환경 데이터에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper addresses fully automated multi-person tracking in complex environments with challenging occlusion and extensive pose variations. Our solution combines multiple detectors for a set of different regions of interest (e.g., full-body and head) for multi-person tracking. The use of multiple detectors leads to fewer miss detections as it is able to exploit the complementary strengths of the individual detectors. While the number of false positives may increase with the increased number of bounding boxes detected from multiple detectors, we propose to group the detection outputs by bounding box location and depth information. For robustness to significant pose variations, deformable spatial relationship between detectors are learnt in our multi-person tracking system. On RGBD data from a live Intensive Care Unit (ICU), we show that the proposed method significantly improves multi-person tracking performance over state-of-the-art methods.

연구 동기 및 목표

• 빈번한 가림과 큰 자세 변화가 발생하는 복잡한 환경에서의 다중 인체 추적 과제를 해결한다.
• 다른 신체 부위를 대상으로 하는 다수의 검출기에서 유사한 검출 출력을 활용하여 추적 오류를 감소시킨다.
• 검출기 간의 탄성 변형 공간 관계를 학습하여 자세 변화에 대한 강건성을 향상시킨다.
• 공간적 및 깊이 기반 군집화를 통해 다수의 검출기에서 발생하는 오진 탐지 수를 최소화한다.
• 최신 기술 수준의 방법들과 비교하여 실제 병동 환경 데이터에서 뛰어난 성능을 입증한다.

제안 방법

• 전신 및 머리와 같은 다양한 관심 영역을 전문으로 하는 다수의 검출기를 활용하여 다양한 검출 출력을 생성한다.
• 바운딩 박스 위치와 깊이 정보를 기반으로 검출 결과를 군집화하여 오진 탐지 수를 줄이고 검출 일관성을 향상시킨다.
• 자세 변화가 심한 상황에서도 적응 가능한 검출기 간의 탄성 변형 공간 관계를 학습한다.
• 공간적 및 깊이 인식 융합 기법을 활용해 검출 출력을 통합 추적 프레임워크에 통합하여 신뢰도를 향상시킨다.
• 실제 병동 환경에서의 실시간 RGBD 데이터를 활용해 깊이 정보를 확보하고 검출 및 추적 정확도를 향상시킨다.
• 실제 병동 시퀀스를 기반으로 시스템을 종단 간 최적화하여 임상 환경에서의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 다양한 신체 부위를 대상으로 하는 다수의 검출기는 복잡하고 가림이 빈번한 환경에서 검출 신뢰도를 향상시키는가?
• RQ2 검출기 간의 탄성 변형 공간 관계 모델링은 큰 자세 변화 상황에서 추적의 강건성을 어떻게 향상시키는가?
• RQ3 깊이 기반 검출 군집화 방식은 다중 검출기 융합에서 오진 탐지 증가를 어느 정도 줄일 수 있는가?
• RQ4 제안된 융합 프레임워크는 실제 병동 추적 시나리오에서 최신 기술 수준의 방법들을 초월하는가?
• RQ5 심한 가림과 동적인 자세 변화 상황에서도 시스템은 추적 정확도를 유지하는 데 얼마나 효과적인가?

주요 결과

• 제안된 방법은 실제 병동 RGBD 데이터에서 최신 기술 수준의 접근 방식보다 다중 인체 추적 성능을 크게 향상시킨다.
• 전신 및 머리 영역 검출기의 융합은 상호 보완적인 검출 강점을 활용하여 누락 탐지율을 감소시킨다.
• 깊이 기반 검출 군집화 방식은 다수의 검출기 사용으로 인한 일반적인 오진 탐지 증가 문제를 효과적으로 완화한다.
• 탄성 변형 공간 관계 모델링은 심한 자세 변화 상황에서도 추적의 강건성을 향상시킨다.
• 높은 가림과 동적인 운동이 발생하는 도전적인 병동 환경에서도 시스템은 뛰어난 성능을 보인다.
• 실시간 병동 데이터에 대한 실증 결과는 제안된 융합 프레임워크가 실제 현장 구현에서 뛰어난 성능을 보임을 확인한다.