[논문 리뷰] Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

Fan Yang, Shigeyuki Odashima외 2명|arXiv (Cornell University)|2022. 11. 24.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 비정상적인 운동과 구분이 어려운 외관을 가진 객체의 추적 성능을 향상시키기 위해 비례적으로 확대된 버퍼를 사용하여 매칭 영역을 확장하는 캐스케이드드 버퍼드 IoU(C-BIoU) 추적기를 제안한다. 이 방법은 프레임 간 기하학적 일관성을 향상시켜 DanceTrack에서 최고 성능을 기록하였으며, CVPR’22 및 ECCV’22 MOT 도전 대회에서 2위를 차지하였다.

ABSTRACT

We propose a Cascaded Buffered IoU (C-BIoU) tracker to track multiple objects that have irregular motions and indistinguishable appearances. When appearance features are unreliable and geometric features are confused by irregular motions, applying conventional Multiple Object Tracking (MOT) methods may generate unsatisfactory results. To address this issue, our C-BIoU tracker adds buffers to expand the matching space of detections and tracks, which mitigates the effect of irregular motions in two aspects: one is to directly match identical but non-overlapping detections and tracks in adjacent frames, and the other is to compensate for the motion estimation bias in the matching space. In addition, to reduce the risk of overexpansion of the matching space, cascaded matching is employed: first matching alive tracks and detections with a small buffer, and then matching unmatched tracks and detections with a large buffer. Despite its simplicity, our C-BIoU tracker works surprisingly well and achieves state-of-the-art results on MOT datasets that focus on irregular motions and indistinguishable appearances. Moreover, the C-BIoU tracker is the dominant component for our 2-nd place solution in the CVPR'22 SoccerNet MOT and ECCV'22 MOTComplex DanceTrack challenges. Finally, we analyze the limitation of our C-BIoU tracker in ablation studies and discuss its application scope.

연구 동기 및 목표

• 기존 MOT 방법이 신뢰할 수 없는 외관 특징과 운동 추정 오류로 인해 실패하는 비정상적인 운동과 구분이 어려운 외관을 가진 다수의 객체 추적 문제를 해결한다.
• 빠른 운동이나 정확하지 않은 운동 예측으로 인해 프레임 간에 검출 결과와 트랙이 겹치지 않을 경우 발생하는 추적 실패를 완화한다.
• 매칭 영역의 과도한 확장을 방지하면서도 비정상적인 운동에 대한 강건성을 유지하기 위해 계단식 매칭 전략을 도입한다.
• 어려운 운동 및 외관 조건을 강조하는 데이터셋에서 기존 방법을 능가하는 단순하면서도 효과적인 추적기를 개발한다.

제안 방법

• 원래 박스 크기에 비례하는 버퍼를 추가함으로써 경계 박스의 공간적 매칭 영역을 확장하지만 중심, 스케일, 종횡비는 변경하지 않는 버퍼드 IoU(BIoU)를 도입한다.
• BIoU를 적용하여 겹치지 않는 검출 결과와 트랙 간의 시공간 유사도를 생성함으로써, IoU가 겹침이 없어 실패할 경우에도 직접적인 매칭을 가능하게 한다.
• 계단식 매칭 전략을 구현: 먼저 작은 버퍼를 사용하여 살아있는 트랙과 검출 결과를 매칭하여 잡음 매칭을 줄이고, 이후에 매칭되지 않은 쌍을 더 큰 버퍼로 재매칭하여 놓친 연결을 복구한다.
• BIoU에서 유도된 기하학적 일관성을 활용해 운동 추정 편향을 보완함으로써 급격한 가속 또는 회전에 대한 강건성을 향상시킨다.
• 외관 특징이 이용 가능한 경우에만 이를 활용하지만 주로 기하학적 매칭에 의존하는 경량이고 온라인 MOT 프레임워크에 BIoU를 통합한다.
• YOLOX가 생성한 검출 결과를 입력으로 사용하여 표준 검출 파이프라인과의 호환성을 확보하고 최첨단 방법과의 공정한 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 버퍼드 IoU를 통해 매칭 영역을 확장하면 비정상적인 운동과 구분이 어려운 외관을 가진 객체의 추적 성능이 향상되는가?
• RQ2 다양한 버퍼 크기를 가진 계단식 매칭 전략은 매칭 정확도와 과도한 확장 위험 사이의 균형에 어떤 영향을 미치는가?
• RQ3 고도로 비정상적인 운동과 외관의 모호성으로 인해 어려운 조건이 지속되는 데이터셋에서 C-BIoU 추적기는 기존 MOT 방법을 얼마나 능가하는가?
• RQ4 특히 높은 잡음 비율(거짓 경고 및 빠진 검출)을 가진 상황에서 C-BIoU 추적기는 얼마나 강건한가?

주요 결과

• 오라클 검출 결과를 사용하여 DanceTrack 검증 세트에서 C-BIoU 추적기는 HOTA 점수 81.7을 기록하여 OC-SORT(79.1)와 기본 IoU 추적기(76.6)를 크게 앞서며 최고 성능을 보였다.
• 동일한 데이터셋에서 C-BIoU 추적기는 기본 IoU 추적기 대비 IDF1 점수를 4.9점 향상시키고 OC-SORT 대비 4.4점 향상시켜 뛰어난 추적 정확도를 입증하였다.
• 20%의 검출 노이즈가 존재할 경우 C-BIoU 추적기는 HOTA 62.3을 유지하며 IoU 추적기(57.6)와 OC-SORT(61.4)를 모두 앞서는 것으로 나타나 중간 수준의 노이즈에 강건함을 입증하였다.
• 40%의 검출 노이즈가 존재할 경우 C-BIoU 추적기의 성능은 HOTA 29.2로 하락하여 IoU 추적기(38.3)보다도 열등해지며 극단적인 검출 노이즈 상황에서는 강건성이 떨어지는 것으로 나타났다.
• C-BIoU 추적기는 CVPR’22 SoccerNet MOT 및 ECCV’22 MOTComplex DanceTrack 도전 대회에서 2위를 차지하여 실제 적용 상황에서의 효과성을 확인하였다.
• 제거 분석 결과, 버퍼 비율 0.2가 최적의 균형을 이룹니다. 이는 비율을 더 높일 경우(예: 0.4) 과도한 확장과 증가한 잘못된 매칭으로 성능이 저하되기 때문이다.