[논문 리뷰] Long-Term Identity-Aware Multi-Person Tracking for Surveillance Video Summarization

Shoou-I Yu, Yi Yang외 2명|arXiv (Cornell University)|2016. 04. 25.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 9

한 줄 요약

이 논문은 얼굴 인식을 통해 강건한 재초기화를 실현하고, 얼굴 검출 없이도 프레임 간에 정체성을 전파하기 위해 다양체 학습을 사용하는 장기 감시 영상용 정체성 인식 기반 다중 인물 추적 시스템을 제안한다. 15대의 카메라로 구성된 4,935시간 분량의 노인호수 감시 영상 데이터셋에서 평가된 결과, 정위치 정확도는 53.2%이며 정밀도는 69.8%를 기록하여, 38%의 정밀도와 52%의 재현율을 달성하는 효과적인 영상 요약을 가능하게 한다.

ABSTRACT

Multi-person tracking plays a critical role in the analysis of surveillance video. However, most existing work focus on shorter-term (e.g. minute-long or hour-long) video sequences. Therefore, we propose a multi-person tracking algorithm for very long-term (e.g. month-long) multi-camera surveillance scenarios. Long-term tracking is challenging because 1) the apparel/appearance of the same person will vary greatly over multiple days and 2) a person will leave and re-enter the scene numerous times. To tackle these challenges, we leverage face recognition information, which is robust to apparel change, to automatically reinitialize our tracker over multiple days of recordings. Unfortunately, recognized faces are unavailable oftentimes. Therefore, our tracker propagates identity information to frames without recognized faces by uncovering the appearance and spatial manifold formed by person detections. We tested our algorithm on a 23-day 15-camera data set (4,935 hours total), and we were able to localize a person 53.2% of the time with 69.8% precision. We further performed video summarization experiments based on our tracking output. Results on 116.25 hours of video showed that we were able to generate a reasonable visual diary (i.e. a summary of what a person did) for different people, thus potentially opening the door to automatic summarization of the vast amount of surveillance video generated every day.

연구 동기 및 목표

• 일주일 이상에 걸쳐 외형 변화와 반복적인 재입장이 발생하는 장기 감시 영상에서의 다중 인물 추적 과제를 해결하기 위해.
• 장기간에 걸쳐 추적 성능을 향상시키기 위해 얼굴 인식을 희소한 정체성 레이블로 활용하여 자동 트랙커 재초기화를 가능하게 하기 위해.
• 얼굴 검출이 없는 프레임으로도 외형과 시공간적 다양체 학습을 통해 정체성 레이블을 전파하기 위해.
• 장기 감시 영상에서 개인별 활동 분석을 위한 시각적 일기(visual diaries)로의 자동 영상 요약을 가능하게 하기 위해.
• 복잡한 실내 환경에서의 장기 다객체 추적을 위한 대규모 실세계 기준 데이터셋을 제공하기 위해.

제안 방법

• 트랙킹은 얼굴 인식을 희소한 정체성 레이블로 사용하는 검출 기반 트랙킹 프레임워크를 사용한다.
• 정체성 전파를 비음수 행렬 분해를 사용하여 외형과 시공간 일관성을 유지하는 제약 조건이 있는 이차형 최적화 문제로 모델링한다.
• 제약 조건으로는 상호 배제(한 트랙당 하나의 검출)와 공간 국소성 제약을 포함하여 타당한 추적 할당을 보장한다.
• 이 방법은 사람 검출의 저랭크 다양체를 학습하여 얼굴 인식이 불가능한 프레임에서도 정체성을 유추한다.
• 장기간의 간격이나 추적 실패 후에 얼굴 인식을 활용해 트랙을 재초기화함으로써, 수개월에 이르는 시퀀스에서도 강건성을 향상시킨다.
• 시각적 일기는 추적된 궤적에서 활동 스니펫(예: 앉기, 사회적 상호작용)을 추출하고, 이를 진짜값과 비교하여 생성한다.

실험 결과

연구 질문

• RQ1 얼굴 인식은 장기(수개월) 감시 영상에서 다중 인물 트랙커를 효과적으로 재초기화하는 데에 활용될 수 있는가?
• RQ2 얼굴 인식이 제공되지 않는 프레임 간에 정체성 정보를 신뢰할 수 있게 어떻게 전파할 수 있는가?
• RQ3 외형과 시공간 레이아웃 기반 다양체 학습이 장기 추적 성능을 얼마나 향상시키는가?
• RQ4 추적 결과를 활용하여 실세계 감시 데이터에 대해 의미 있는 개인별 영상 요약(시각적 일기)을 생성할 수 있는가?
• RQ5 스니펫 생성 및 시간 추정 측면에서 추적 정확도와 영상 요약 품질 간의 상관관계는 어떠한가?

주요 결과

• 15대의 카메라로 구성된 실내 감시 영상 데이터셋에서 4,935시간 분량의 영상에서 트랙커는 53.2%의 프레임에서 개인을 정확히 정위치시켰으며, 정밀도는 69.8%를 기록했다.
• 얼굴 인식 정확도가 20% 향상될 경우 추적 F1 점수는 약 10% 증가했으며, 이는 얼굴 인식이 핵심적인 역할을 한다는 것을 시사한다.
• 시각적 일기 생성 결과 스니펫 생성에 대해 마이크로 정밀도 38.2%와 마이크로 재현율 52.2%를 달성하여 핵심 활동을 합리적인 정확도로 포착하고 있음을 보여준다.
• 방 및 자세 상태 시간 추정은 정밀도 80.9%와 재현율 51.1%를 기록하여 위치 및 자세 추적의 중간 정도의 정확도를 보였다.
• 상호작용 시간 추정은 가장 낮은 성능(31.1% F1)을 보였으며, 주로 상호작용에 관여한 두 사람 모두의 추적 실패로 인한 영향을 받았다.
• 이차 다항식 피팅 결과 추적 F1 점수와 스니펫 생성 F1 점수 간에 강한 정적 상관관계가 확인되어, 추적 품질이 요약 품질에 직접적인 영향을 준다는 것을 확인했다.