[논문 리뷰] A Simple Baseline for Multi-Object Tracking.

Yifu Zhang, Chunyu Wang외 3명|arXiv (Cornell University)|2020. 04. 04.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 76

한 줄 요약

FairMOT는 두 가지 동일한 브랜치를 통해 객체 검출과 재식별(re-ID)을 동시에 최적화함으로써 단일 네트워크 방식을 단순하면서도 효과적으로 제안한다. 작업 간의 공정성 확보와 ROI-Align을 더 견고한 특징 추출 방법으로 대체함으로써 FairMOT는 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 정체성 전환을 크게 줄이고 이전 방법들을 능가한다.

ABSTRACT

There has been remarkable progress on object detection and re-identification (re-ID) in recent years which are the key components of multi-object tracking. However, little attention has been focused on jointly accomplishing the two tasks in a single network. Our study shows that the previous attempts ended up with degraded accuracy mainly because the re-ID task is not fairly learned which causes many identity switches. The unfairness lies in two-fold: (1) they treat re-ID as a secondary task whose accuracy heavily depends on the primary detection task. So training is largely biased to the detection task but ignores the re-ID task; (2) they use ROI-Align to extract re-ID features which is directly borrowed from object detection. However, this introduces a lot of ambiguity in characterizing objects because many sampling points may belong to disturbing instances or background. To solve the problems, we present a simple approach \emph{FairMOT} which consists of two homogeneous branches to predict pixel-wise objectness scores and re-ID features. The achieved fairness between the tasks allows \emph{FairMOT} to obtain high levels of detection and tracking accuracy and outperform previous state-of-the-arts by a large margin on several public datasets. The source code and pre-trained models are released at this https URL.

연구 동기 및 목표

• 다중 객체 추적에서 검출 및 재식별 작업 간 훈련의 불균형을 해결하기 위해.
• 재식별 작업의 부정확한 학습으로 인한 정체성 전환을 줄이기 위해.
• ROI-Align을 더 견고한 방법으로 대체하여 재식별 특징 추출의 모호성을 제거하기 위해.
• 검출 및 재식별을 위한 동일한 브랜치를 갖춘 통합 네트워크를 설계하여 작업 간 공정성을 향상시키기 위해.
• 복잡한 아키텍처나 후처리 없이 최신 기술 수준의 추적 정확도를 달성하기 위해.

제안 방법

• FairMOT는 두 개의 동일한 브랜치를 갖춘 단일 네트워크를 사용한다: 하나는 픽셀 단위의 객체 존재 확률을 예측하고, 다른 하나는 재식별 특징을 예측한다.
• 재식별 브랜치는 ROI-Align이 배경이나 간섭 요소에서 점을 추출할 수 있는 모호성을 유발할 수 있기 때문에 이를 피하는 특징 추출 방법을 사용한다.
• 검출 및 재식별 목표를 공정하게 가중하는 균형 잠재함수를 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 영역 제안 없이 특징 맵을 직접 재식별에 사용함으로써 노이즈를 줄이고 특징 일관성을 향상시킨다.
• 추가 헤드 네트워크나 복잡한 후처리를 피함으로써 단순성과 효율성을 유지한다.
• 훈련 전략이 재식별 작업을 보조적인 것으로 간주하지 않고 최적화 과정에서 동일하게 우선시하도록 보장한다.

실험 결과

연구 질문

• RQ1 검출과 재식별을 통합적으로 학습할 때, 두 작업이 공정하게 최적화되면 추적 성능에 어떤 영향을 미치는가?
• RQ2 ROI-Align을 더 견고한 특징 추출 방법으로 대체하면 재식별 정확도와 정체성 일관성에 어떤 영향을 미치는가?
• RQ3 간단한 단일 브랜치 아키텍처가 복잡한 구성 요소 없이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 이전 방법들은 강력한 검출 정확도를 보이지만 왜 높은 정체성 전환 비율을 앓는가?
• RQ5 작업 간 공정성이 엔드 투 엔드 다중 객체 추적에서 재식별 성능 향상에 얼마나 기여하는가?

주요 결과

• FairMOT는 여러 공개 다중 객체 추적 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 SOTA 방법들을 능가한다.
• 검출 및 재식별 작업 간의 공정한 학습을 보장함으로써 정체성 전환을 크게 줄였다.
• ROI-Align을 더 견고한 특징 추출 전략으로 대체함으로써 재식별 특징의 품질과 일관성이 향상되었다.
• 검출 및 재식별을 위한 동일한 브랜치 사용이 더 나은 최적화와 성능 향상에 기여했다.
• 복잡한 후처리나 보조 네트워크 없이도 검출 및 재식별 모두 높은 정확도를 달성했다.
• 소스 코드와 사전 학습 모델이 공개되어 재현성과 향후 연구를 가능하게 하였다.