[논문 리뷰] Enhancing the Association in Multi-Object Tracking via Neighbor Graph

Tianyi Liang, Long Lan외 1명|arXiv (Cornell University)|2020. 07. 01.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 4

한 줄 요약

이 논문은 다중 객체 추적에서 오염, 조명 변화 및 검출 오류에 대한 강건성을 향상시키기 위해 근접한 목표물 간의 시공간적 관계를 활용하여 데이터 연동을 향상시키는 이웃 그래프 기반 방법을 제안한다. 목표물과 그 선택된 이웃들로 구성된 그래프에 그래프 컨volution 네트워크(GCN)를 적용함으로써 더 신뢰할 수 있고 그룹 인식 기반의 특징을 학습하며, 온라인 추적 프로토콜 하에서 MOT 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most modern multi-object tracking (MOT) systems follow the tracking-by-detection paradigm. It first localizes the objects of interest, then extracting their individual appearance features to make data association. The individual features, however, are susceptible to the negative effects as occlusions, illumination variations and inaccurate detections, thus resulting in the mismatch in the association inference. In this work, we propose to handle this problem via making full use of the neighboring information. Our motivations derive from the observations that people tend to move in a group. As such, when an individual target's appearance is seriously changed, we can still identify it with the help of its neighbors. To this end, we first utilize the spatio-temporal relations produced by the tracking self to efficiently select suitable neighbors for the targets. Subsequently, we construct neighbor graph of the target and neighbors then employ the graph convolution networks (GCN) to learn the graph features. To the best of our knowledge, it is the first time to exploit neighbor cues via GCN in MOT. Finally, we test our approach on the MOT benchmarks and achieve state-of-the-art performance in online tracking.

연구 동기 및 목표

• 오염, 조명 변화 및 정확하지 않은 검출 상황에서 개별적인 외관 특징의 취약성을 해결하기 위해.
• 이웃 목표물들로부터의 맥락 정보를 활용하여 데이터 연동의 강건성을 향상시키기 위해.
• 추적 시스템 자체의 시공간 정보를 이용하여 효율적이고 효과적인 가벼운 이웃 선택 전략을 개발하기 위해.
• 그래프 컨volution 네트워크(GCN)를 통합하여 목표물-이웃 관계의 상호작용을 모델링하고 집합적 특징을 학습함으로써 추적 성능 향상시키기 위해.

제안 방법

• 추적 시스템의 시공간적 관계를 이용해 각 목표물에 대해 관련성이 높은 이웃을 선정함으로써 효율성과 관련성을 확보한다.
• 목표물을 중심 노드로, 선택된 이웃들을 연결 노드로 하여 이웃 그래프를 구성한다.
• 그래프 컨volution 네트워크(GCN)를 적용하여 이웃 그래프 전반에 걸쳐 특징을 집계하고 개선함으로써 더 강건하고 맥락 인식 기반의 표현을 학습한다.
• 이웃 그래프 모듈을 JDE 프레임워크에 통합하며, 검출 및 임bedding 헤드 이후에 GCN 레이어를 추가한다.
• 이웃 수 K는 4로 설정되며, K개 이하의 이웃이 존재할 경우 목표물을 복제하여 그래프를 채운다.
• Adam 옵timizer를 사용하여 엔드 투 엔드로 학습하며, 학습률 감소, 데이터 증강, COCO 및 CUHK-SYSU 데이터셋에서의 사전학습을 적용한다.

실험 결과

연구 질문

• RQ1 목표물의 외관이 오염이나 노이즈로 악화되었을 때, 이웃 목표물들이 신뢰할 수 있는 맥락적 단서를 제공할 수 있는가?
• RQ2 추적 시스템의 시공간 정보만을 사용하여 목표물에 대해 관련성이 높은 이웃을 효율적이고 효과적으로 선택할 수 있는가?
• RQ3 그래프 컨볼루션 네트워크(GCN)는 목표물과 이웃 간의 관계를 모델링함으로써 다중 객체 추적에서 특징 표현을 얼마나 향상시킬 수 있는가?
• RQ4 이웃 그래프 특징을 통합함으로써 온라인 추적 프로토콜 하에서 MOTA와 IDF1에 측정 가능한 향상이 이루어지는가?

주요 결과

• 공개 검출 프로토콜 하에서 MOT16 벤치마크에서 MOTA 57.7, IDF1 62.6을 기록하여 이전의 모든 온라인 트래커를 능가한다.
• MOT17에서 MOTA 58.4, IDF1 62.9를 기록하여 온라인 트래커 중 최신 기술 수준의 성능을 입증한다.
• 이웃 그래ph 모듈은 JDE 베이스라인을 개선하여 MOT17 트레이닝 세트에서 MOTA를 76.4에서 76.6으로 향상시키고, ID 수를 2271에서 2049로 감소시킨다.
• ID 스위치(IDs)와 오진 양성 수가 크게 감소하여 더 안정적이고 정확한 데이터 연동을 나타낸다.
• 제거 실험 결과 이웃 그래프 학습이 외관 악화와 검출 노이즈로 인한 오류를 효과적으로 완화함을 확인한다.
• 이웃 수가 적은 경우에도 모델이 희소 그래프를 처리하기 위해 목표물을 복제함으로써 효과적으로 작동함을 보여, 이론적 타당성이 높다.