[논문 리뷰] Simple online and real-time tracking with occlusion handling

Mohammad Hossein Nasseri, Hadi Moradi외 2명|arXiv (Cornell University)|2021. 03. 06.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 6

한 줄 요약

이 논문은 외관 특징에 의존하지 않고 경계 상자 위치와 크기와 같은 기하학적 단서만을 사용하여 음영 처리 및 소실된 목표물 재식별을 처리하는 빠르고 온라인 다중 객체 추적 알고리즘을 제안한다. 신뢰도 기반 음영 처리 감지 메커니즘을 도입함으로써, 이 방법은 이전의 온라인 추적기보다 40% 적은 ID 전환과 28% 적은 분할을 기록하며 MOT17에서 최고 성능을 달성한다. 이는 실시간 응용에 적합한 높은 속도를 유지한다.

ABSTRACT

Multiple object tracking is a challenging problem in computer vision due to difficulty in dealing with motion prediction, occlusion handling, and object re-identification. Many recent algorithms use motion and appearance cues to overcome these challenges. But using appearance cues increases the computation cost notably and therefore the speed of the algorithm decreases significantly which makes them inappropriate for online applications. In contrast, there are algorithms that only use motion cues to increase speed, especially for online applications. But these algorithms cannot handle occlusions and re-identify lost objects. In this paper, a novel online multiple object tracking algorithm is presented that only uses geometric cues of objects to tackle the occlusion and reidentification challenges simultaneously. As a result, it decreases the identity switch and fragmentation metrics. Experimental results show that the proposed algorithm could decrease identity switch by 40% and fragmentation by 28% compared to the state of the art online tracking algorithms. The code is also publicly available.

연구 동기 및 목표

• 외관 특징을 사용하지 않고 온라인 다중 객체 추적에서 음영 처리 및 목표물 재식별 문제를 해결한다.
• 심층 학습 기반 외관 임bedding을 피하여 온라인 추적의 계산 비용을 낮춘다.
• 음영 처리에 대한 강건성을 높이고 ID 전환 및 분할을 줄이며 높은 추적 속도를 유지한다.
• 경계 상자 위치와 크기와 같은 기하학적 단서만으로도 외관 기반 최고 수준의 방법과 비교할 만한 성능을 달성할 수 있음을 입증한다.
• 고성능 외관 모델에 의존하지 않음으로써 표준 하드웨어에서 실시간 배포를 가능하게 한다.

제안 방법

• 외관 특징를 사용하지 않고 검출 경계 상자의 위치와 크기만을 기하학적 단서로 사용하여 추적한다.
• 운동 일관성과 공간 겹침을 기반으로 목표물이 음영 처리되었는지 예측하는 신뢰도 기반 음영 처리 처리 메커니즘을 도입한다.
• 음영 처리 감지를 위해 신뢰도 임계값 $ C_O $ 를 적용하여 데이터 연동 중 오류 연결을 억제한다.
• 음영 처리 후 목표물 재식별을 관리하기 위해 두 번째 신뢰도 임계값 $ C_T $ 를 사용하여 안정적인 트랙 연속성을 확보한다.
• SORT와 유사하게 경계 상자 좌표와 치수를 사용하여 칼만 필터를 활용해 운동 예측을 수행한다.
• 외관 특징를 사용하지 않고 IoU 및 신뢰도 점수를 기반으로 헝가리안 알고리즘을 사용해 데이터 연동을 수행한다.

실험 결과

연구 질문

• RQ1 온라인 다중 객체 추적에서 음영 처리 및 목표물 재식별을 기하학적 단서(위치와 크기)만으로 효과적으로 달성할 수 있는가?
• RQ2 성능이 최고 수준의 외관 기반 방법과 비교해도 손상되지 않도록 외관 특징을 얼마나 피할 수 있는가?
• RQ3 제안된 신뢰도 기반 음영 처리 감지 메커니즘이 ID 전환 및 분할 지표에 어떤 영향을 미치는가?
• RQ4 트랙커 성능이 신뢰도 임계값 $ C_O $ 와 $ C_T $ 에 얼마나 민감한가? 최적의 결과를 얻기 위해 어떻게 조정할 수 있는가?
• RQ5 기하학적 단서만을 사용하는 트랙커가 표준 하드웨어에서 실시간 성능을 달성하면서도 외관 기반 온라인 트랙커의 성능을 따라잡거나 초월할 수 있는가?

주요 결과

• 제안된 알고리즘은 MOT17 벤치마크에서 최고 수준의 온라인 추적 알고리즘 대비 ID 전환( IDS)을 40% 감소시키고 분할(FM)을 28% 감소시켰다.
• SDP 검출을 사용한 MOT17 데이터셋에서, 이 방법은 외관 기반 최고 수준의 알고리즘인 Deep SORT와 비교해도 MOTA 수준을 유사하게 달성하였다. 외관 기능을 사용하지 않았음에도 불구하고 말이다.
• 최적의 파rameter $ C_O = 0.75 $ 와 $ C_T = 0.35 $ 를 사용할 경우, 알고리즘은 MOTA 47.3을 기록했으며, 파라미터 변동에 대해 매우 민감하지 않았다.
• 이 트랙커는 높은 속도를 유지하여 표준 하드웨어에서 실시간 성능을 달성했으며, 고성능 시스템에서도 외관 기반 방법은 5 FPS 이하로 떨어지는 반면 이는 실시간을 유지한다.
• 분할(FM) 지표에서 Deep SORT를 초월하여 음영 처리 이후 트랙 연속성 처리 능력이 뛰어나다는 것을 보여주었다.
• 알고리즘은 파라미터 변동에 대해 강건하며, 전체 신뢰도 임계값 범위에서 MOTA는 1% 이내, IDS는 4% 이내로 변동하였다.