[논문 리뷰] Global Correlation Network: End-to-End Joint Multi-Object Detection and Tracking

Xuewu Lin, Yu-ang Guo외 1명|arXiv (Cornell University)|2021. 03. 23.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 10

한 줄 요약

이 논문은 전역 상관관계층을 사용하여 절대 바운딩 박스 좌표와 크기를 회귀함으로써 비최대 억제(NMS), 데이터 연동, 복잡한 후처리가 필요 없도록 하는 엔드 투 엔드 프레임워크인 글로벌 상관관계 네트워크(GCNet)를 제안한다. GCNet는 UA-DETRAC 벤치마크에서 검출 시 74.04% AP, 추적 시 19.10% PR-MOTA를 기록하며, 병렬 추론 속도가 34 FPS이다.

ABSTRACT

Multi-object tracking (MOT) has made great progress in recent years, but there are still some problems. Most MOT algorithms follow tracking-by-detection framework, which separates detection and tracking into two independent parts. Early tracking-by-detection algorithms need to do two feature extractions for detection and tracking. Recently, some algorithms make the feature extraction into one network, but the tracking part still relies on data association and needs complex post-processing for life cycle management. Those methods do not combine detection and tracking well. In this paper, we present a novel network to realize joint multi-object detection and tracking in an end-to-end way, called Global Correlation Network (GCNet). Different from most object detection methods, GCNet introduces the global correlation layer for regression of absolute size and coordinates of bounding boxes instead of offsets prediction. The pipeline of detection and tracking by GCNet is conceptually simple, which does not need non-maximum suppression, data association, and other complicated tracking strategies. GCNet was evaluated on a multi-vehicle tracking dataset, UA-DETRAC, and demonstrates promising performance compared to the state-of-the-art detectors and trackers.

연구 동기 및 목표

• 검출 및 추적을 별도의 모듈로 나누고 복잡한 후처리가 필요한 트래킹-바이-디텍션 프레임워크의 한계를 해결하기 위해.
• 전역 특징 상관관계를 사용하여 절대 객체 좌표와 크기를 회귀함으로써 검출과 추적을 하나의 엔드 투 엔드 네트워크로 통합하기 위해.
• 트래킹 파이프라인에서 비최대 억제, 데이터 연동, 라이프사이클 관리에 의존하지 않도록 하기 위해.
• 자율주행 및 교통 모니터링과 같은 애플리케이션에 적합한 실시간 성능를 달성하기 위해.
• 검출과 추적 간의 공유 특징이 추가 계산 없이도 추적 성능을 크게 향상시킬 수 있음을 보여주기 위해.

제안 방법

• GCNet는 현재 프레임의 쿼리 특징과 이전 프레임의 키 특징 간의 코사인 유사도를 계산하여 전역적 맥락을 인코딩하는 전역 상관관계층을 도입한다.
• 각 공간 위치에서, 쿼리 및 키 특징의 학습된 선형 투영을 통해 상관 벡터를 계산하고, 최종 선형층을 통한 가중치가 부여된 집계를 수행한다.
• 상관 맵은 1×1 합성곱 헤드를 통해 절대 바운딩 박스 좌표와 크기를 예측하는 데 사용되며, 오프셋 기반 회귀를 대체한다.
• 검출 및 추적은 공유 백본 특징을 사용하여 동시에 수행되며, 검출 신뢰도와 추적 신뢰도를 위한 별도의 히트맵 헤드를 사용한다.
• 추론 시 비최대 억제 대신 최대 풀링을 사용하여 중복 검출을 억제함으로써 파이프라인을 단순화한다.
• 분류 및 회귀를 위해 CenterNet 스타일 아키텍처를 사용하며, 백본으로 ResNet-50를 사용한다.

실험 결과

연구 질문

• RQ1 검출 및 추적에 대해 오프셋 예측에 의존하지 않고도 통합된 엔드 투 엔드 네트워크가 절대 객체 좌표와 크기를 회귀할 수 있는가?
• RQ2 프레임 간의 전역 상관관계가 기존의 데이터 연동을 대체하고 파이프라인 복잡성을 줄일 수 있는가?
• RQ3 비최대 억제 및 명시적 추적 전략을 제거함으로써 추론 효율성과 추적의 견고성이 향상되는가?
• RQ4 검출과 추적 간의 공유 특징 공간이 다중 객체 추적 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ5 기존의 트래킹-바이-디텍션 방법에 비해 전역 상관관계층이 추적 정확도를 얼마나 향상시키는가?

주요 결과

• GCNet는 UA-DETRAC 검출 벤치마크에서 74.04% 평균 정밀도(AP)를 기록하여, Faster R-CNN 및 CenterNet-Res50를 포함한 대부분의 기존 검출기들을 능가한다.
• UA-DETRAC 추적 벤치마크에서 GCNet는 19.10% PR-MOTA를 기록하였으며, EB+KIOU 기준(21.1%)보다 뚜렷이 높고, DPM 및 ACF와 같은 다른 방법들보다 거의 두 배에 가까운 PR-MOTA를 기록한다.
• 단일 NVIDIA 2080Ti에서 GCNet는 검출 시 36 FPS, 병렬 검출 및 추적 시 34 FPS를 기록하여 실시간 성능를 입증한다.
• 모델은 57.3% PR-MOTP를 기록하여 낮은 국소화 오차로 높은 품질의 궤적 추정을 가능하게 한다.
• GCNet는 PR-ML(9.6)과 PR-FN(148,517.5)에서 최고 점수를 기록하여, 거짓 음성 및 누락 검출을 최소화하는 데 강력한 성능를 보였다.
• 절단 분석 결과, 전역 상관관계층이 정확한 절대 좌표 회귀 및 병렬 검출-추적 성능에 핵심적인 역할을 한다는 것이 확인되었다.