[논문 리뷰] Track to Detect and Segment: An Online Multi-Object Tracker

Jialian Wu, Jiale Cao외 4명|arXiv (Cornell University)|2021. 03. 16.

Video Surveillance and Tracking Methods참고 문헌 63인용 수 12

한 줄 요약

TraDeS는 비용 볼륨 기반 연관성과 운동 유도 특징 왜곡 모듈을 통해 추적 신호를 활용하여 검출과 분할을 동시에 수행하는 엔드 투 엔드 온라인 다중 객체 추적기이다. 실시간 추론에서 MOT, nuScenes, MOTS 및 YouTube-VIS 벤치마크에서 최신 기술 수준의 성능을 달성하며, 가림과 운동 흐림과 같은 어려운 조건에서도 정확도와 강인성 면에서 이전 방법들을 능가한다.

ABSTRACT

Most online multi-object trackers perform object detection stand-alone in a neural net without any input from tracking. In this paper, we present a new online joint detection and tracking model, TraDeS (TRAck to DEtect and Segment), exploiting tracking clues to assist detection end-to-end. TraDeS infers object tracking offset by a cost volume, which is used to propagate previous object features for improving current object detection and segmentation. Effectiveness and superiority of TraDeS are shown on 4 datasets, including MOT (2D tracking), nuScenes (3D tracking), MOTS and Youtube-VIS (instance segmentation tracking). Project page: https://jialianwu.com/projects/TraDeS.html.

연구 동기 및 목표

• 검출 기반 추적 프레임워크의 비효율성과 엔드 투 엔드 최적화 부족 문제를 해결하기 위해.
• 검출 과정에서 추적 신호를 忽시하는 통합 검출 및 추적 방법의 한계를 극복하기 위해.
• 공유 백본 학습에서 재식별 손실과 검출 손실 간의 부적합성을 해결하기 위해.
• 가림이나 운동 흐림과 같은 어려운 상황에서 검출 및 분할의 강인성을 향상시키기 위해.
• 외관 임베딩에서 유도된 운동 단서를 이용해 정확한 장기적 데이터 연관을 가능하게 하기 위해.

제안 방법

• 프레임 간 객체 임베딩 간의 매칭 유사도를 계산하여 추적 오프셋을 추론하기 위해 비용 볼륨 기반 연관성(CVA) 모듈을 도입한다.
• 예측된 추적 오프셋을 운동 신호로 활용하여 이전 프레임의 특징을 현재 프레임으로 전파하는 운동 유도 특징 왜곡기(MFW)를 가동한다.
• 검출과 추적을 공동 최적화하는 통합 네트워크를 활용하며, 비용 볼륨에 재식별 감독을 통합하여 클래스 간 및 클래스 내 분산을 균형 잡는다.
• 이전 프레임의 특징 전파를 통해 현재 검출 및 분할 성능을 향상시키며, 특히 가림되거나 흐릿한 객체에 유리하다.
• 간단한 분할 브랜치를 추가하여 인스턴스 분할 추적으로 프레임워크를 확장하면서도 엔드 투 엔드 학습을 유지한다.
• 비용 볼륨을 통해 클래스 간 분산을 암묵적으로 모델링함으로써 검출 손실과 호환되는 재식별 손실을 설계한다.

실험 결과

연구 질문

• RQ1 가림이나 운동 흐림과 같은 어려운 시각 조건에서 추적 신호를 검출에 효과적으로 통합하여 강인성을 향상시킬 수 있는가?
• RQ2 공유 백본에서 재식별과 검출을 함께 최적화할 경우 검출 성능이 저하되지 않도록 할 수 있는가?
• RQ3 비용 볼륨 기반 접근 방식이 큰 운동량이나 낮은 프레임 레이트 조건에서도 정확한 장기적 데이터 연관을 가능하게 하는가?
• RQ4 이전 프레임의 특징 전파가 현재 프레임의 검출 및 분할 성능에 얼마나 기여하는가?
• RQ5 통합형 엔드 투 엔드 프레임워크가 이중 단계 검출 기반 추적 및 기존의 통합 검출-추적 방법을 능가할 수 있는가?

주요 결과

• TraDeS는 MOT16 및 MOT17 벤치마크에서 각각 2.5 MOTA 및 1.8 MOTA 포인트의 우수한 성능을 기록하며, 15 FPS에서 최신 기술 수준의 성능을 달성했다.
• nuScenes 3D 추적 벤치마크에서 차량 클래스에 대해 23.2 AMOTA 및 1.07 AMOTP를 기록하며, 이전의 단안 방법들보다 크게 앞서나갔다.
• MOTS에서의 인스턴스 분할 추적 성능은 IDF1을 베이스라인 대비 16.3 포인트 향상시켰으며, 정확도와 속도 면에서 TrackR-CNN를 모두 능가했다.
• YouTube-VIS에서 TraDeS는 AP를 베이스라인 대비 6.2 포인트 향상시켜 장기적·장거리 추적에 대한 강력한 일반화 능력을 입증했다.
• 절단 실험 결과 CVA 및 MFW 모듈이 모두 필수적임을 확인하였으며, 특징 전파가 가림 조건에서 검출 성능 향상에 크게 기여함을 입증했다.
• 제안된 재식별 손실 설계가 검출 및 재식별 목표를 효과적으로 균형 잡아, 검출 성능 저하 없이도 성능 향상을 이끌어냈다.