[논문 리뷰] AVisT: A Benchmark for Visual Object Tracking in Adverse Visibility

Mubashir Noman, Wafa Al Ghallabi외 8명|arXiv (Cornell University)|2022. 08. 14.

Video Surveillance and Tracking Methods인용 수 10

한 줄 요약

AVisT는 밀도 있는 neblina, 폭우, 침투성, 저조도, 소형 목표물 등의 열악한 시야 조건에서의 시각적 목표 추적을 위한 새로운 벤치마크를 소개한다. 이 벤치마크는 5개의 속성(예: 밀도 있는 neblina, 폭우, 침투성, 저조도, 소형 목표물)으로 분류된 18개의 다양한 시나리오에서 120개의 과도한 과제를 포함한다. ImageNet-22k 사전학습을 거친 최신 트랜스포머 기반 추적기조차도 최고로 56.0% AUC를 기록할 뿐이며, 이는 벤치마크의 어려움과 강건하고 일반화 가능한 추적 솔루션의 필요성을 강조한다.

ABSTRACT

One of the key factors behind the recent success in visual tracking is the availability of dedicated benchmarks. While being greatly benefiting to the tracking research, existing benchmarks do not pose the same difficulty as before with recent trackers achieving higher performance mainly due to (i) the introduction of more sophisticated transformers-based methods and (ii) the lack of diverse scenarios with adverse visibility such as, severe weather conditions, camouflage and imaging effects. We introduce AVisT, a dedicated benchmark for visual tracking in diverse scenarios with adverse visibility. AVisT comprises 120 challenging sequences with 80k annotated frames, spanning 18 diverse scenarios broadly grouped into five attributes with 42 object categories. The key contribution of AVisT is diverse and challenging scenarios covering severe weather conditions such as, dense fog, heavy rain and sandstorm; obstruction effects including, fire, sun glare and splashing water; adverse imaging effects such as, low-light; target effects including, small targets and distractor objects along with camouflage. We further benchmark 17 popular and recent trackers on AVisT with detailed analysis of their tracking performance across attributes, demonstrating a big room for improvement in performance. We believe that AVisT can greatly benefit the tracking community by complementing the existing benchmarks, in developing new creative tracking solutions in order to continue pushing the boundaries of the state-of-the-art. Our dataset along with the complete tracking performance evaluation is available at: https://github.com/visionml/pytracking

연구 동기 및 목표

• 밀도 있는 neblina, 폭우, 저조도와 같은 실제 세계의 열악한 시야 조건에서의 시각적 추적에 대한 종합적인 벤치마크 부족 문제를 해결한다.
• 극한의 기상 조건, 가림, 침투성, 영상 효과 등으로 인한 실제 추적 실패를 반영하는 다양한 도전 과제를 포함한 과도한 데이터셋을 제공한다.
• 다양한 속성에 걸쳐 최신 추적기를 평가하여 성능 격차를 폭 드러내고 향후 연구를 이끌어낸다.
• 기존의 벤치마크를 초월해 실제 세계의 복잡성을 강조함으로써, 추적의 강건성 평가 기준을 새롭게 설정한다.

제안 방법

• 18개의 다른 열악한 시야 조건 시나리오에서 42개의 객체 카테고리에 걸쳐 80,000개의 애너테이션 프레임을 포함한 120개의 고해상도 영상 과제를 정제한다.
• 시나리오를 다섯 가지 속성으로 그룹화한다: 기상 조건(예: neblina, 폭우, 모래 폭풍), 차단 효과(예: 화재, 햇빛 반사), 영상 효과(예: 저조도), 목표물 효과(예: 소형 목표물, 혼란 요소), 침투성.
• 높은 정밀도로 인간이 애너테이션한 참조 경계 상자(Bounding boxes)를 사용하여 모든 과제에서 신뢰할 수 있는 평가를 보장한다.
• 표준 메트릭을 사용해 전체 데이터셋에서 최근 17개의 추적기(시アン드라 네트워크, 분류기 기반 모델, 트랜스포머 기반 모델 포함)를 벤치마크한다.
• AUC(곡선 아래 면적)와 정규화된 정밀도를 사용해 성능을 평가하며, 각 속성별로 분석하여 실패 원인을 파악한다.
• 백본 모델을 ImageNet-1k와 ImageNet-22k에서 사전학습하여 사전학습 크기가 열악한 조건에서의 강건성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 기존 데이터셋이 다루지 않는 실제 세계의 열악한 시야 조건(예: 밀도 있는 neblina, 폭우, 저조도)을 강조하는 벤치마크에서 최신 시각적 추적기는 어떤 성능을 보이는가?
• RQ2 ImageNet-22k에서의 사전학습은 ImageNet-1k 대비 다양한 열악한 시야 속성에서 추적 강건성 향상에 얼마나 기여하는가?
• RQ3 기상, 침투성, 저조도 등의 특정 속성이 현재 추적 모델에 가장 큰 도전 과제로 작용하는가?
• RQ4 열악한 시야 조건 하에서 다양한 추적 철학(시안드라, 분류기, 트랜스포머) 간에 일관된 성능 격차가 존재하는가?
• RQ5 속성 기반 분석을 통해 특정 시야 열악성에 노출되었을 때 현재 추적 아키텍처의 체계적 약점이 드러나는가?

주요 결과

• AVisT에서 가장 높은 성능을 보인 추적기인 MixFormerL-22k는 단지 56.0%의 AUC를 기록했으며, LaSOT(70.1%)와 TrackingNet(83.9%)와 같은 기존 벤치마크의 점수보다 크게 낮아 AVisT의 높은 과도성과 어려움을 확인한다.
• ImageNet-22k 사전학습을 거친 트랜스포머 기반 모델(예: MixFormerL-22k)은 ImageNet-1k 사전학습 모델보다 기상 조건과 영상 효과에서 뛰어난 성능을 보이며, 속성에 따라 성능 향상 정도가 다름을 확인했다.
• 모든 속성에서 다른 추적기보다 뛰어난 성능을 보이는 단일 추적기는 존재하지 않으며, 예를 들어 ToMP-101는 더 작은 백본을 사용함에도 불구하고 영상 효과에서 MixFormerL-22k와 유사한 성능을 기록했다.
• 시안드라 추적기(예: SiamRPN++)는 AUC 점수가 약 38–39를 기록하는 반면, 분류기 기반 모델(예: KeepTrack)은 약 49.4에 도달하여 아키텍처 선택이 강건성에 큰 영향을 미친다는 것을 확인했다.
• ImageNet-22k 사전학습의 성능 향상은 속성 간 일관성이 없으며, 기상 조건과 영상 효과에서는 뚜렷한 향상이 있었지만, 차단 효과에서는 최소한의 향상이 있었다.
• 속성 기반 분석을 통해 현재 추적기들이 침투성, 소형 목표물, 복잡한 기상 조건에서 가장 어려움을 겪고 있음을 확인했으며, 이는 일반화 및 강건성 측면에서 심각한 격차를 드러낸다.