[논문 리뷰] MOTRv3: Release-Fetch Supervision for End-to-End Multi-Object Tracking

En Yu, Tiancai Wang외 4명|arXiv (Cornell University)|2023. 05. 23.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

MOTRv3는 종단간 다객체 추적에서 검출과 연관 간 최적화 갈등을 해결하기 위해 새로운 릴리스-픽업 감독 전략(RFS)을 도입하여 외부 검출기 없이도 개선된 검출 감독을 가능하게 한다. 검출 쿼리에 초기에 레이블을 제공하고 점차적으로 연관을 위해 회수함으로써, 가짜 레이블 분산 및 트랙 그룹 노이즈 제거와 결합함으로써 MOTRv3는 완전한 종단간 훈련을 유지하면서 MOT17 및 DanceTrack 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Although end-to-end multi-object trackers like MOTR enjoy the merits of simplicity, they suffer from the conflict between detection and association seriously, resulting in unsatisfactory convergence dynamics. While MOTRv2 partly addresses this problem, it demands an additional detection network for assistance. In this work, we serve as the first to reveal that this conflict arises from the unfair label assignment between detect queries and track queries during training, where these detect queries recognize targets and track queries associate them. Based on this observation, we propose MOTRv3, which balances the label assignment process using the developed release-fetch supervision strategy. In this strategy, labels are first released for detection and gradually fetched back for association. Besides, another two strategies named pseudo label distillation and track group denoising are designed to further improve the supervision for detection and association. Without the assistance of an extra detection network during inference, MOTRv3 achieves impressive performance across diverse benchmarks, e.g., MOT17, DanceTrack.

연구 동기 및 목표

• 종단간 다객체 추적 프레임워크인 MOTR에서 열악한 검출 성능의 근본 원인을 규명하기 위해.
• 추적 성능 향상을 방해하는 검출과 연관 간 최적화 갈등을 해결하기 위해.
• 추론 시 외부 객체 검출기를 사용하지 않고도 검출 및 연관에 대한 감독을 향상시키기 위해.
• 완전한 종단간 훈련을 유지하면서 다양한 벤치마크에서 추적 정확도를 크게 향상시키기 위해.

제안 방법

• 박스 레이블을 초기 디코더 레이어에서 검출 쿼리 훈련을 위해 먼저 릴리스하고 나중 레이어에서 연관을 위해 다시 회수하는 릴리스-픽업 감독(RFS) 전략을 제안한다.
• 사전 훈련된 검출기(예: YOLOX 또는 Sparse R-CNN)를 사용해 검출 쿼리에 다양한 보조 감독을 제공하는 가짜 레이블 분산(PLD)을 도입한다.
• 트랙 쿼리를 그룹화하고 훈련 중 참조 지점에 무작위 노이즈를 주입함으로써 연관 학습을 안정화시키는 트랙 그룹 노이즈 제거(TGD)를 설계한다.
• MOTR의 원래 종단간 트랜스포머 아키텍처를 유지하면서도 검출 헤드와 연관 헤드 간 감독 균형을 맞추기 위해 레이블 할당 동역학을 수정한다.
• RFS를 첫 다섯 디코더 레이어에 적용하며, 최종 디코더 레이어에서는 표준 일대일 매칭을 유지한다.
• RFS, PLD, TGD를 통합된 훈련 파이프라인으로 조합하여 검출 정밀도 향상과 연관 안정성 향상을 동시에 달성한다.

실험 결과

연구 질문

• RQ1 왜 MOTR와 같은 종단간 다객체 추적에서 아름다운 아키텍처를 지녔음에도 불구하고 검출 성능이 열악한가?
• RQ2 검출 쿼리와 트랙 쿼리 간의 부당한 레이블 할당이 MOT에서 최적화 갈등을 유발하는 방식은 무엇인가?
• RQ3 외부 검출기 도입 없이도 또는 종단간 훈련을 깨뜨리지 않고 감독을 재구성하여 검출 성능을 향상시킬 수 있는가?
• RQ4 가짜 레이블을 통한 보조 감독과 트랙 쿼리에 노이즈를 주입함으로써 추적 성능 향상에 어느 정도 기여하는가?
• RQ5 비종단간 기반 모델 대비, 뼈대 아키텍처 변경에 따라 제안된 방법의 확장성은 어떻게 되는가?

주요 결과

• MOTR에서 검출 성능 저하의 주요 원인은 부당한 레이블 할당으로, 첫 프레임의 지정된 진짜 레이블(free GT)만 검출 쿼리 훈련에 사용되고, 이후 프레임의 레이블은 트랙 쿼리에 고정되어 있다는 점이다.
• RFS는 초기 디코더 레이어에서 모든 레이블을 검출 쿼리에 훈련 가능하게 하여 수렴 성능을 크게 향상시킨다.
• MOT17 테스트 세트에서 MOTRv3는 72.1%의 HOTA를 기록하여 MOTRv2를 초월하고 종단간 다객체 추적에서 외부 검출기가 없는 최고 성능을 달성한다.
• 4개의 쿼리로 그룹화한 트랙 그룹 노이즈 제거(TGD)와 함께 노이즈 주입이 연관 안정성을 향상시키고 DanceTrack에서 HOTA를 최대 1.2점 향상시킨다.
• 모델 스케일링 실험 결과, MOTRv3는 더 큰 백본(예: ConvNeXt-Base)에서 항상 유의미한 성능 향상을 보이며, MOTRv2는 비종단간 성격으로 인해 더 큰 백본에서 성능 저하를 보인다.
• 가짜 레이블 분산(PLD)은 효과적인 보조 감독을 제공하여 검출 일반화 능력을 향상시키고 희소 레이블에 대한 과적합을 줄인다.