[논문 리뷰] Quality Matters: Embracing Quality Clues for Robust 3D Multi-Object Tracking

Jinrong Yang, En Yu외 3명|arXiv (Cornell University)|2022. 08. 23.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 추적 품질을 향상시키기 위해 학습된 품질 점수를 활용하여 위치 및 속도 예측의 연관성 신뢰도를 향상시키는 품질 인식 개체 연관(QOA)을 도입한 강건한 3D 다중객체추적 프레임워크인 QTrack을 제안한다. 예측 신뢰도를 평가하기 위해 정규화된 가우시안 품질(NGQ) 지표를 사용함으로써, QTrack은 nuScenes 검증 세트에서 48.0%의 AMOTA, 테스트 세트에서 51.1%의 AMOTA를 달성하여 이전의 모든 SOTA 방법들보다 유의미한 격차로 앞서나간다.

ABSTRACT

3D Multi-Object Tracking (MOT) has achieved tremendous achievement thanks to the rapid development of 3D object detection and 2D MOT. Recent advanced works generally employ a series of object attributes, e.g., position, size, velocity, and appearance, to provide the clues for the association in 3D MOT. However, these cues may not be reliable due to some visual noise, such as occlusion and blur, leading to tracking performance bottleneck. To reveal the dilemma, we conduct extensive empirical analysis to expose the key bottleneck of each clue and how they correlate with each other. The analysis results motivate us to efficiently absorb the merits among all cues, and adaptively produce an optimal tacking manner. Specifically, we present Location and Velocity Quality Learning, which efficiently guides the network to estimate the quality of predicted object attributes. Based on these quality estimations, we propose a quality-aware object association (QOA) strategy to leverage the quality score as an important reference factor for achieving robust association. Despite its simplicity, extensive experiments indicate that the proposed strategy significantly boosts tracking performance by 2.2% AMOTA and our method outperforms all existing state-of-the-art works on nuScenes by a large margin. Moreover, QTrack achieves 48.0% and 51.1% AMOTA tracking performance on the nuScenes validation and test sets, which significantly reduces the performance gap between pure camera and LiDAR based trackers.

연구 동기 및 목표

• 장애물에 의한 가림, 흐림, 예측의 정렬 불일치 등 신뢰할 수 없는 추적 신호로 인해 발생하는 3D 다중객체추적의 성능 저하 문제를 해결하기 위해.
• 특히 도전적인 시각 조건에서 3D 검출기에서의 예측된 위치와 속도 품질 간의 불균형성과 정렬 불일치를 분석하기 위해.
• 학습된 품질 점수에 기반해 저품질의 운동 및 위치 후보를 동적으로 필터링하는 품질 인식 연관 메커니즘을 개발하기 위해.
• 기본 검출기 성능을 저하시키지 않으면서도 경량의 종단간 훈련 가능한 추적-기반 검출 프레임워크에 품질 추정을 통합하기 위해.
• 카메라 기반 및 LiDAR 기반 3D MOT 시스템 간의 성능 격차를 줄이기 위해 시각 노이즈에 대한 강건성을 향상시키기 위해.

제안 방법

• 예측의 2차원 벡터 오차를 동시에 모델링하여 예측의 신뢰도를 정량화하는 정규화된 가우시안 품질(NGQ) 지표를 도입한다.
• 기본 3D 검출기에서 위치 및 속도의 NGQ 점수를 예측하는 품질 학습 헤드를 설계하여 추적 신호의 자기 진단 능력을 향상시킨다.
• 속도 품질을 사용해 신뢰도가 떨어지는 운동 후보를 필터링하고, 위치 품질을 사용해 잘못 예측된 위치를 거부하는 품질 인식 개체 연관(QOA) 전략을 제안한다.
• 분류 신뢰도와 품질 점수를 함께 사용해 연관을 이끄는 추적-기반 검출 파이프라인에 QOA를 통합하며, 품질 점수가 후보 선택을 정밀하게 보완하는 제2의 문을 작동시킨다.
• 기본 검출기 성능을 저하시키지 않는 경량의 품질 브랜치를 사용해 전체 네트워크를 종단간으로 훈련시키며, 이는 추론 분석에서 검증되었다.
• 하이퍼파라미터 제어된 지표를 통해 분류 신뢰도와 속도 품질의 가중 융합을 NMS에 적용하여 국소화 오차와 속도 오차 간의 트레이드오���을 균형 잡는다.

실험 결과

연구 질문

• RQ1 장애물에 의한 가림, 운동 블러, 조명 변화는 카메라 기반 3D MOT에서의 3D 객체 위치 및 속도 예측의 신뢰도에 어떻게 영향을 미치는가?
• RQ2 위치 및 속도 예측 품질 간의 정렬 불일치 정도는 어느 정도이며, 이러한 불일치는 추적 연관 성능에 어떤 영향을 미치는가?
• RQ3 통합된 품질 추정 메커니즘이 저신뢰도 및 저품질 예측을 필터링함으로써 추적의 강건성을 향상시킬 수 있는가?
• RQ4 연관 과정에 학습된 품질 점수를 제2의 문으로 통합함으로써 검출 성능을 저하시키지 않고도 추적 정확도를 향상시킬 수 있는가?
• RQ5 품질 인식 프레임워크는 카메라 기반과 LiDAR 기반 3D MOT 시스템 간의 성능 격차를 줄일 수 있는가?

주요 결과

• 제안된 QTrack은 nuScenes 검증 세트에서 48.0%의 AMOTA, 테스트 세트에서 51.1%의 AMOTA를 달성하여 기존의 모든 SOTA 방법들을 뚜렷이 앞서나간다.
• 기본 CV 프레임워크 대비 2.2%의 AMOTA 향상을 기록하여 품질 인식 연관의 효과성을 입증한다.
• 품질 예측 브랜치는 기본 검출기 성능을 저하시키지 않으며, 추론 분석에서 mAP와 NDS가 안정적으로 유지된다.
• QOA에서 위치 또는 속도 품질 중 하나만을 필터로 사용할 경우 성능 저하가 발생함을 확인하여, 두 품질 점수를 함께 활용하는 것이 필수적임을 입증한다.
• 가중 지표(M = V^(1−α)·C^α)를 통해 NMS에 속도 품질을 통합함으로써 국소화 오차와 속도 오차 간의 트레이드오���이 나타남을 확인하였으며, 이는 두 품질 간의 정렬 불일치를 검증한다.
• 외관 브랜치를 도입해 임베딩을 추출할 경우 추적 성능이 1.0% 감소함을 확인하였으며, 이는 제안된 품질 기반 접근의 효율성과 우수성을 강조한다.