[논문 리뷰] Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification

Weitao Feng, Zhihao Hu외 3명|arXiv (Cornell University)|2019. 01. 18.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 90

한 줄 요약

단일 객체 추적기(SOT)의 단기 단서와 ReID 네트워크의 장기 단서를 스위처-인식 분류기로 결합한 통합 MOT 프레임워크로 데이터 연결을 개선하고 아이덴티티 스위치를 줄임; MOT16/17 벤치마크에서 최첨단 성능 달성.

ABSTRACT

In this paper, we propose a unified Multi-Object Tracking (MOT) framework learning to make full use of long term and short term cues for handling complex cases in MOT scenes. Besides, for better association, we propose switcher-aware classification (SAC), which takes the potential identity-switch causer (switcher) into consideration. Specifically, the proposed framework includes a Single Object Tracking (SOT) sub-net to capture short term cues, a re-identification (ReID) sub-net to extract long term cues and a switcher-aware classifier to make matching decisions using extracted features from the main target and the switcher. Short term cues help to find false negatives, while long term cues avoid critical mistakes when occlusion happens, and the SAC learns to combine multiple cues in an effective way and improves robustness. The method is evaluated on the challenging MOT benchmarks and achieves the state-of-the-art results.

연구 동기 및 목표

• 강 robust MOT를 위해 단기(SOT 기반)와 장기(ReID 기반) 단서를 모두 활용
• 데이터 연결 시 아이덴티티 스위치를 줄이기 위한 스위처-인식 분류기 개발
• Occlusion 및 false negatives 처리를 위한 단서 융합 및 적응 선택 통합
• MOT16 및 MOT17에서 최첨단 성능을 입증

제안 방법

• 단기 단서를 캡처하고 SOT 박스와 점수를 생성하기 위해 Siamese-RPN을 SOT로 사용
• 트랙렛 이력에서 장기 외형 특성을 추출하기 위해 ReID 서브네트(GoogLeNet Inception-v4 기반) 사용
• 스위처-인식 분류기(SAC)를 제안하고 boosting 의사결정 트리로 구현하여 단기 및 장기 단서를 융합하고 스위처의 특징을 포함해 탐지와 대상 매칭
• SAC에서 매칭 점수를 얻고 온라인 데이터 연결을 최소 비용 네트워크 흐름으로 해결하기 위해 대상과 탐지의 이분 그래프 구성
• 품질 인식 메커니즘으로 과거 트랙렛 이미지 K장을 선택해 장기 단서를 형성하고 정규화된 ReID 특징으로 장기 유사도 계산
• 품질 기반 트랙렛 이력 및 탐지 점수 정제 단계 도입으로 노이즈 탐지 줄이기

실험 결과

연구 질문

• RQ1 단기 단서와 장기 단서를 MOT에서 효과적으로 결합하려면 어떻게 해야 하는가?
• RQ2 스위처 정보를 분류기에 포함시키면 아이덴티티 스위치를 줄이고 IDF1을 개선하는가?
• RQ3 SOT 및 ReID를 함께 사용하는 경우와 개별적으로 사용할 때 MOTA 및 ID 지표에 어떤 차이가 있는가?
• RQ4 학습 기반의 스위칭 인식 접근법이 MOT의 전통적 페어링 친화도 방법을 능가할 수 있는가?

주요 결과

• 프레임워크는 MOT16/MOT17 벤치마크에서 경쟁적이거나 최첨단의 MOTA 및 IDF1을 달성한다. (정확한 수치는 결과 표에 보고되어 있음)
• 단기 단서는 MOTA에서 현저한 이득을 제공하고, 장기 단서는 IDF1을 크게 향상시키며, 이들의 결합이 전체 성능을 최적으로 만든다.
• Switch er-Aware Classifier(SAC)를 도입하면 아이덴티티 스위치를 크게 줄이고(ID S, IDS) IDF1을 향상시키며 MOTA에 미미한 영향을 준다.
• SAC에 대해 boosting 결정 트리 분류기를 사용하면 작은 특징 차원에서 NN, SVM 등 다른 분류기보다 성능이 우수하다.
• 품질 인식 트랙렛 이력 및 탐지 점수 정제는 노이즈 탐지에 대한 견고성을 높인다.