[논문 리뷰] COMET: Context-Aware IoU-Guided Network for Small Object Tracking

Seyed Mojtaba Marvasti-Zadeh, Javad Khaghani외 3명|arXiv (Cornell University)|2020. 06. 04.

Video Surveillance and Tracking Methods참고 문헌 58인용 수 4

한 줄 요약

COMET는 중·고고도에서 촬영한 항공 영상에서 소형 객체 추적을 위한 맥락 인식형, IoU 유도 이중 스트림 추적기를 제안한다. 오프라인 제안 생성 전략을 통해 맥락 학습을 향상시키고, 다중 해상도 특징과 주의 모듈을 갖춘 다중 작업 네트워크를 사용하여 가림 및 시점 변화에 대한 강건성을 향상시킨다. UAVDT, VisDrone-2019, Small-90 벤치마크에서 ATOM에 비해 평균 정밀도 6.2% 향상 및 성공 점수 7% 향상 달성.

ABSTRACT

We consider the problem of tracking an unknown small target from aerial videos of medium to high altitudes. This is a challenging problem, which is even more pronounced in unavoidable scenarios of drastic camera motion and high density. To address this problem, we introduce a context-aware IoU-guided tracker (COMET) that exploits a multitask two-stream network and an offline reference proposal generation strategy. The proposed network fully exploits target-related information by multi-scale feature learning and attention modules. The proposed strategy introduces an efficient sampling strategy to generalize the network on the target and its parts without imposing extra computational complexity during online tracking. These strategies contribute considerably in handling significant occlusions and viewpoint changes. Empirically, COMET outperforms the state-of-the-arts in a range of aerial view datasets that focusing on tracking small objects. Specifically, COMET outperforms the celebrated ATOM tracker by an average margin of 6.2% (and 7%) in precision (and success) score on challenging benchmarks of UAVDT, VisDrone-2019, and Small-90.

연구 동기 및 목표

• 표적이 몇 개 픽셀에 불과하고 가림 및 시점 변화에 취약한 고고도 항공 영상에서 소형 객체 추적의 과제 해결.
• 부적절한 표적 표현 및 맥락 모델링 부족으로 인해 기존 추적기가 소형 객체 추적을 실패하는 문제 극복.
• 밀도 높고 넓은 시야의 항공 영상 환경에서의 큰 가림, 시점 변화 및 배경 혼잡에 대한 강건성 향상.
• 온라인 계산량을 증가시키지 않고 복잡한 맥락 학습을 오프라인 학습으로 이관하여 효율적인 온라인 추론 메커니즘 개발.
• 다중 해상도 특징 집합 및 주의 메커니즘을 통한 특징 표현 강화로 주목할 만한 표적 부분에 집중.

제안 방법

• 학습 중 기준 프레임에서 고품질 제안을 추출하여 맥락 및 표적 부분 표현을 향상시키는 오프라인 기반 참조 제안 생성 전략 도입.
• 외관 및 운동 특징을 별도로 처리한 후 융합하여 정밀한 국소화를 향상시키는 이중 스트림 다중 작업 네트워크 활용.
• 다양한 수용장치를 가진 공간적 및 의미적 표현을 캡처하기 위해 다중 해상도 특징 집합 적용.
• 유의미한 특징을 강조하고 배경 간섭을 억제하기 위해 경량 공간 및 채널 주의 모듈 통합.
• 경계 상자 회귀 정확도 및 강건성을 향상시키기 위해 교차율(IoU)과 정규화된 중심 위치 오차(CLE)를 조합한 다중 작업 손실 함수 최적화.
• 예측된 IoU 및 CLE를 사용해 실시간으로 경계 상자를 보정하여 운동 및 외관 변화에 동적으로 적응 가능하게 설계.

실험 결과

연구 질문

• RQ1 온라인 추론 비용을 증가시키지 않고 오프라인 제안 생성 전략이 소형 객체 추적 성능 향상에 기여하는가?
• RQ2 주목적 및 다중 해상도 특징을 갖춘 다중 작업 이중 스트림 네트워크가 항공 추적에서 가림 및 시점 변화를 다루는 데 얼마나 효과적인가?
• RQ3 IoU 유도 회귀가 고고도 영상에서 극히 소형 표적의 국소화 정확도 향상에 어느 정도 기여하는가?
• RQ4 SOTA 추적기 대비 COMET의 다양한 속성(가림, 종횡비 변화, 조명 변화 등)에 대한 성능은 어떠한가?
• RQ5 표적 부분 및 주변 영역에서의 맥락 인식 학습이 복잡한 항공 추적 환경에서 일반화 능력을 크게 향상시키는가?

주요 결과

• COMET는 UAVDT, VisDrone-2019, Small-90 벤치마크에서 ATOM에 비해 평균 정밀도 6.2% 향상 및 성공 점수 7% 향상 달성.
• VisDrone-2019 데이터셋에서 COMET는 AUC 점수 64.5를 기록하여 ATOM(57.1)과 DiMP-50(60.8)를 모두 초월.
• DiMP-50 대비 소형 객체 속성에 대해 최대 9.5% 향상 및 시점 변화 속성에 대해 4.4% 향상 달성.
• 가림 관련 속성(Fast Occlusion, Partial Occlusion, Long Occlusion)에서 SiamMask 대비 12.1% 향상 달성하여 부분적 및 완전 가림에 대한 강력한 강건성 입증.
• 장기 추적 속성에서 COMET는 ATOM 대비 4.3% 향상하여 장기간 시야에서 벗어난 후 재식별 및 추적 지속성에서 뛰어난 성능 확보.
• 정성적 결과 분석에서 COMET는 종횡비 변화가 심한 상황과 복잡한 배경 혼잡 환경에서도 추적 정확도 유지하며, SiamRPN++ 및 SiamMask 대비 도전적인 시퀀스에서 뛰어난 성능 확보.