[논문 리뷰] An equalised global graphical model-based approach for multi-camera object tracking

Weihua Chen, Lijun Cao외 2명|arXiv (Cornell University)|2015. 02. 12.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 28

한 줄 요약

이 논문은 비중첩 다중카메라 시스템에서 단일카메라 추적(SCT)과 상호카메라 추적(ICT)을 동시에 최적화하는 글로벌 그래픽 모델을 제안한다. 이는 외관 및 운동 특징의 유사도 측정값을 균형 있게 조정함으로써 성능을 향상시킨다. 통합된 그래프에서 균형 잡힌 유사도 점수를 통합함으로써, 잘못된 매칭 오류를 줄이고 특히 SCT 성능이 열악한 경우에도 강건성을 확보하며, 실시간 추적기를 사용함에도 불구하고 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Non-overlapping multi-camera visual object tracking typically consists of two steps: single camera object tracking and inter-camera object tracking. Most of tracking methods focus on single camera object tracking, which happens in the same scene, while for real surveillance scenes, inter-camera object tracking is needed and single camera tracking methods can not work effectively. In this paper, we try to improve the overall multi-camera object tracking performance by a global graph model with an improved similarity metric. Our method treats the similarities of single camera tracking and inter-camera tracking differently and obtains the optimization in a global graph model. The results show that our method can work better even in the condition of poor single camera object tracking.

연구 동기 및 목표

• 개별 단일카메라 및 상호카메라 모듈로 구성된 기존 이중단계 다중카메라 추적 파이프라인의 취약성을 해결한다.
• 약한 단일카메라 추적으로 인한 가짜 양성 및 끈어진 트랙릿으로 인한 상호카메라 매칭 오류를 줄인다.
• 통합된 글로벌 그래프 모델에서 SCT와 ICT를 공동으로 최적화하여 전체 다중카메라 추적 성능을 향상시킨다.
• 동일카메라 연결과 크로스카메라 연결 간의 유사도 점수를 균형 잡아 그래프가 동일카메라 링크를 우선시하지 않도록 한다.
• 검출 기반 계층적 연관 방식보다 계산 비용이 높은 실시간 추적기를 사용함에도 불구하고 실제 환경에서의 강건성을 입증한다.

제안 방법

• 단일카메라 추적(SCT)과 상호카메라 추적(ICT)을 하나의 최적화 프레임워크에 통합한 글로벌 그래픽 모델을 수립한다.
• 최소 불확실성 간격을 사용해 내차카메라 및 외차카메라 관측 간의 유사도 점수를 구분하고 균형 잡는 개선된 유사도 측정값을 도입한다.
• 균형 잡힌 유사도 측정값을 외관 및 운동 특징에 모두 적용하여 그래프 내에서 동일카메라 및 크로스카메라 링크의 영향력을 균형 잡는다.
• 모든 관측값(카메라에 관계없이)을 통합된 추적 문제의 일부로 간주하는 공동 데이터 연관 프레임워크를 사용해 글로벌 그래프를 최적화한다.
• 실시간 단일객체 추적기(AIF 추적기)를 사용해 SCT를 위한 중기 트랙릿을 생성함으로써 실용적 구현을 가능하게 하면서도 효율성을 유지한다.
• 이 방법은 특징 학습보다 그래프 모델링에 중점을 두므로, 기존의 재식별 특징 표현 방법을 프레임워크에 통합할 수 있다.

실험 결과

연구 질문

• RQ1 통합된 글로벌 그래프 모델이 단일카메라 및 상호카메라 객체 추적을 공동으로 최적화하여 고품질의 단일카메라 추적 결과에 의존하지 않도록 할 수 있는가?
• RQ2 내차카메라 및 외차카메라 연관의 유사도 측정값을 어떻게 균형 잡을 수 있는가? 이를 통해 그래프가 동일카메라 링크를 우선시하지 않도록 방지할 수 있는가?
• RQ3 다양한 카메라 간 외관 및 운동 유사도 점수를 균형 잡는 것이, 단일카메라 추적 성능이 열악한 경우에도 상호카메라 매칭 정확도를 향상시키는가?
• RQ4 실제 비중첩 다중카메라 감시 환경에서 검출 기반 계층적 연관 방식보다 더 높은 성능을 내는가? 특히 검출 성능이 열악한 상황에서의 성능은 어떻게 되는가?
• RQ5 검출 기반 계층적 연관 방식보다 계산 비용이 높은 실시간 추적기를 사용함에도 불구하고, 이 방법은 강력한 성능을 유지할 수 있는가?

주요 결과

• 제안된 균형 잡힌 글로벌 그래프 모델은 내차카메라 및 외차카메라 유사도 점수를 균형 잡음으로써 상호카메라 추적에서의 잘못된 매칭 오류를 크게 줄였다.
• 검출 기반 계층적 방법보다 덜 신뢰할 수 있는 트랙릿을 생성하는 실시간 단일객체 추적기(AIF)를 사용함에도 불구하고, 이 방법은 네 개의 데이터셋에서 평균 MCTA 0.3405를 기록하며 경쟁 가능한 성능을 달성했다.
• CRIPAC-MCT 및 Hfutdspmct와 같은 몇몇 최신 기술 수준의 접근법보다도 높은 평균 MCTA 0.3405를 기록했으며, 각각 0.1648 및 0.0661의 성능을 기록한 것과 비교해 뚜렷한 우월성을 보였다.
• Dataset 1 및 2(외곽 환경)에서는 각각 추적 정밀도 0.7967 및 0.7977, 재현율 0.5929 및 0.6332를 기록하여 도전적인 조건에서도 뛰어난 성능을 보였다.
• 낮은 성능의 SCT 상황에서도 강건성을 입증했으며, 예를 들어 Dataset 1 및 2에서 추적 정밀도가 각각 0.6220 및 0.6942로 향상된 것으로 나타났다. 이는 트랙릿 품질이 열악한 상황임에도 불구하고 성능 향상을 이룬 것이다.
• Dataset 2에서 최종 MCTA는 0.4793을 기록했으며, USC-Vision의 0.6260보다는 낮지만, 후자는 더 정교한 검출 기반 SCT 모듈을 사용하고 있어 추적기 품질과 프레임워크 효율성 사이의 상충관계를 보여준다.