[논문 리뷰] Spatial-Temporal Relation Networks for Multi-Object Tracking

Jiarui Xu, Yue Cao외 2명|arXiv (Cornell University)|2019. 04. 25.

Video Surveillance and Tracking Methods참고 문헌 57인용 수 27

한 줄 요약

이 논문은 다중 객체 추적을 위한 통합형 엔드 투 엔드 딥 러닝 프레임워크인 공간-시간 관계 네트워크(STRN)를 제안한다. STRN은 공간과 시간 영역에서 외관, 위치, 위상적 특징을 동시에 모델링하여 최신 기술 수준의 성능을 달성한다. 관계 네트워크를 공간-시간 영역으로 확장함으로써 콘텐츠 인식 기반의 집합을 통해 특징 표현을 향상시키며, 공개 검출 결과를 사용하는 온라인 설정에서 MOT15–17 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Recent progress in multiple object tracking (MOT) has shown that a robust similarity score is key to the success of trackers. A good similarity score is expected to reflect multiple cues, e.g. appearance, location, and topology, over a long period of time. However, these cues are heterogeneous, making them hard to be combined in a unified network. As a result, existing methods usually encode them in separate networks or require a complex training approach. In this paper, we present a unified framework for similarity measurement which could simultaneously encode various cues and perform reasoning across both spatial and temporal domains. We also study the feature representation of a tracklet-object pair in depth, showing a proper design of the pair features can well empower the trackers. The resulting approach is named spatial-temporal relation networks (STRN). It runs in a feed-forward way and can be trained in an end-to-end manner. The state-of-the-art accuracy was achieved on all of the MOT15-17 benchmarks using public detection and online settings.

연구 동기 및 목표

• 다중 객체 추적을 위한 단일 강력한 유사도 측정 기준에 이질적인 특징—외관, 위치, 위상—을 효과적으로 통합하는 문제를 해결하기 위해.
• 공간 및 시간 영역에서의 종속성을 동시에 모델링하는 통합형 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 공간과 시간 영역에서의 구조적 추론을 통해 트랙렛-객체 쌍의 특징 표현을 향상시켜 추적 정확도를 향상시키기 위해.
• 모든 특징을 단일의 피드포워드 아키텍처에 통합함으로써 특징별 네트워크나 복잡한 학습 방식이 필요 없도록 하기 위해.

제안 방법

• STRN은 객체-객체 관계 네트워크를 공간-시간 영역으로 확장하여, 프레임 간 외관 및 위상적 특징을 동시에 모델링할 수 있도록 한다.
• 공간 영역에서는 콘텐츠 인식 주의를 사용하여 이웃 객체들로부터의 컨텍스트를 집계함으로써 객체 외관 특징을 강화한다.
• 시간 영역에서는 시간 관계 모듈이 가중치 기반 특징 융합을 학습함으로써 이전 프레임들로부터 정보를 집계하여 트랙렛 특징을 업데이트한다.
• 최종 유사도 점수는 개선된 객체 특징과 집계된 트랙렛 특징을 연결한 후 최종 분류기로 계산된다.
• 전체 네트워크는 표준 역전파를 사용하여 엔드 투 엔드로 학습되며, 보조 감독이나 복잡한 후처리가 필요 없다.
• 핵심 설계 선택 사항은 단일 특징 표현을 통해 단항 특징, 코사인 유사도, 운동 특징을 통합하여 분류 능력을 향상시키는 트랙렛-객체 쌍의 특징 표현을 구성하는 것이다.

실험 결과

연구 질문

• RQ1 통합형 딥 러닝 프레임워크가 다중 객체 추적을 위해 이질적인 특징—외관, 위치, 위상—을 효과적으로 통합할 수 있는가?
• RQ2 관계 네트워크를 통한 공간 및 시간 종속성 모델링이 장기 추적에서 유사도 측정에 어떻게 기여하는가?
• RQ3 트랙렛-객체 쌍에 대한 다양한 특징 표현 방식이 추적 정확도에 미치는 영향은 무엇인가?
• RQ4 단일 네트워크를 사용한 엔드 투 엔드 학습이 온라인 MOT에서 특징별 또는 다단계 접근 방식을 능가할 수 있는가?
• RQ5 제안된 공간-시간 관계 모듈은 평균 풀링이나 최대 풀링과 같은 간단한 집계 방법보다 어떻게 우월한가?

주요 결과

• STRN은 온라인 설정에서 MOT17 벤치마크에서 최신 기술 수준의 MOTA 50.9를 달성하여 이전의 모든 온라인 방법을 능가했다.
• MOT15에서 STRN은 MOTA 48.5를 기록하여 이전 최고 기록인 방법보다 1.4 포인트 높았다.
• MOT16에서 STRN은 MOTA 53.9를 기록하여 다양한 추적 시나리오에 걸쳐 뛰어난 일반화 능력을 입증했다.
• 제거 분석 결과, 단일 외관 특징 대비 단항 외관 및 코사인 유사도 특징을 통합함으로써 MOTA가 10.0 포인트 향상되었다.
• 공간-시간 관계 모듈은 총 3.9 MOTA 포인트 기여했으며, 공간 추론에서 2.5 포인트, 시간 추론에서 1.4 포인트를 기여했고, 평균 풀링 및 최대 풀링 기반 베이스라인보다 뚜렷이 뛰어났다.
• 위치 특징이 통합되면서 ID 스위치 수가 515에서 129로 감소하여 정체성 일관성이 향상됨을 시사했다.