[논문 리뷰] Improving Underwater Visual Tracking With a Large Scale Dataset and Image Enhancement

Basit Alawode, Fayaz Ali Dharejo외 7명|arXiv (Cornell University)|2023. 08. 30.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 275,000개의 주석이 달린 프레임과 400개의 영상 시퀀스를 포함한 대규모 수중 시각 객체 추적 데이터셋인 UVOT400을 소개한다. 또한 SOTA 추적기 성능을 최대 5.0% AUC 향상시키는 새로운 수중 영상 향상 기법(UWIE)을 제안한다. 이 방법은 산산이 흩어지는 조명, 낮은 시야, 색상 왜곡 등의 어려운 수중 조건에서 추적의 견고성을 높이기 위해 추적 이전에 영상 품질을 향상시킨다.

ABSTRACT

This paper presents a new dataset and general tracker enhancement method for Underwater Visual Object Tracking (UVOT). Despite its significance, underwater tracking has remained unexplored due to data inaccessibility. It poses distinct challenges; the underwater environment exhibits non-uniform lighting conditions, low visibility, lack of sharpness, low contrast, camouflage, and reflections from suspended particles. Performance of traditional tracking methods designed primarily for terrestrial or open-air scenarios drops in such conditions. We address the problem by proposing a novel underwater image enhancement algorithm designed specifically to boost tracking quality. The method has resulted in a significant performance improvement, of up to 5.0% AUC, of state-of-the-art (SOTA) visual trackers. To develop robust and accurate UVOT methods, large-scale datasets are required. To this end, we introduce a large-scale UVOT benchmark dataset consisting of 400 video segments and 275,000 manually annotated frames enabling underwater training and evaluation of deep trackers. The videos are labelled with several underwater-specific tracking attributes including watercolor variation, target distractors, camouflage, target relative size, and low visibility conditions. The UVOT400 dataset, tracking results, and the code are publicly available on: https://github.com/BasitAlawode/UWVOT400.

연구 동기 및 목표

• 딥 러닝 추적기의 강력한 훈련과 평가를 가능하게 하기 위해 대규모, 다양한 종류, 정확한 주석이 달린 수중 시각 추적 데이터셋의 부족을 해결한다.
• 낮은 시야, 색상 왜곡, 빛 산산이 흩어지는 현상 등의 고유한 과제로 인해 기존의 개방형 환경에서 훈련된 추적기의 성능 저하 문제를 해결한다.
• 수중 시각 추적에 특화된 일반 목적의 영상 향상 방법을 개발하여 추적기의 견고성과 정확도를 향상시킨다.
• 다양한 수중 조건에서 최신 추적기의 성능을 평가하고 비교할 수 있는 포괄적인 벤치마크를 UVOT400에 구축한다.
• 영상 향상이 개방형 환경과 수중 추적 간의 성능 격차를 현저히 줄임으로써, 특히 심한 시야 저하 및 색상 변화 조건에서의 성능 향상을 입증한다.

제안 방법

• 400개의 영상 시퀀스, 총 275,000개의 수동 주석 프레임과 평균 시퀀스 길이 688프레임을 포함한 새로운 대규모 수중 시각 객체 추적 벤치마크 데이터셋인 UVOT400을 제안한다.
• 각 영상에 대해 수중 전용 과제를 포함한 17개의 추적 속성(예: 수중 색조 변화, 위장, 낮은 시야, 목표물 간섭 요소 등)을 주석 처리한다.
• 산산이 흩어지는 효과와 흡수 효과 하에서 대비, 색상 충실도, 선명도에 중점을 두어 후속 추적을 위한 영상 품질을 향상시키는 새로운 수중 영상 향상 알고리즘(UWIE)을 설계한다.
• SOTA 시각 추적기 적용 이전에 UWIE 방법을 전처리 단계로 통합하여, 향상된 영상와 원본 수중 영상 시퀀스 간의 종단 간 성능 평가를 가능하게 한다.
• 공개된 수중 데이터셋에서 기반 기반 및 비기반 영상 품질 평가 지표를 활용하여 UWIE의 효과를 검증한다.
• UVOT400에서 25개의 SOTA 개방형 추적기를 원본 및 향상된 조건에서 평가하여 다양한 수중 속성에 따른 성능 향상 정도를 정량화한다.

Figure 1: Underwater performance drops for all selected recent SOTA trackers compared to open-air scenarios [ 62 , 22 ] , in terms of the success rate. Trackers tested: Ocean [ 86 ] , SiamAttn [ 84 ] , AutoMatch [ 85 ] , KeepTrack [ 60 ] , TrSiam [ 77 ] , TrDiMP [ 77 ] , STMTrack [ 27 ] , TransT [ 1

실험 결과

연구 질문

• RQ1 영상 향상이 수중 환경에서 최신 시각 추적기의 성능에 얼마나 기여하는가?
• RQ2 개방형 환경에서 훈련된 추적기의 성능은 수중 시퀀스에서 얼마나 떨어지며, 이 격차는 어떻게 줄일 수 있는가?
• RQ3 수중 특성 중 수중 색조 변화, 위장, 낮은 시야와 같은 특정 속성이 추적기 성능에 미치는 영향은 무엇이며, 영상 향상이 이러한 영향을 어떻게 완화하는가?
• RQ4 종합적인 목적의 영상 향상 방법이 종료-종료 재학습 없이도 다양한 수중 시나리오에서 추적 정확도를 현저히 향상시킬 수 있는가?
• RQ5 제안된 UVOT400 데이터셋은 수중 시각 추적 평가의 다양성, 규모, 현실성 측면에서 기존 벤치마크와 비교해 어떻게 다른가?

주요 결과

• 원본 수중 시퀀스에서 최신 시각 추적기의 성능은 개방형 벤치마크 대비 심하게 저하되며, 저시야 조건에서 성공률가 최대 20% 감소한다.
• 제안된 UWIE 영상 향상 방법을 적용함으로써 UVOT400 벤치마크 전반에서 SOTA 추적기의 평균 AUC 성능이 최대 5.0% 향상된다.
• ToMP 추적기의 경우 원본 UVOT 시퀀스에서 AUC가 52.60%였지만, 향상 후 61.40%로 상승하여 개방형 추적과의 성능 격차를 최대 6.0%까지 줄였다.
• STMTrack 추적기는 원본 UVOT 시퀀스에서 AUC 54.50%를 기록했지만, 향상 후 60.40%로 상승하여 다양한 수중 속성에서 일관된 성능 향상을 보였다.
• 기반 기반 및 비기반 영상 품질 지표에서 UWIE 방법은 기존 SOTA 수중 영상 향상 기법을 모두 능가하여 추적 전용 향상에 효과적임을 입증했다.
• UVOT400 데이터셋은 수중 색조 변화와 저시야가 가장 해로운 속성임을 드러내지만, 영상 향상이 이들의 부정적 영향을 현저히 완화함을 보였다. 특히 blue/greenish 및 浊도가 높은 조건에서 두드러진다.

Figure 2: UVOT400 dataset - sample images with targets from diverse categories showing the tracked target object bounding boxes predicted by 12 SOTA trackers, color-coded as shown in the legend. (a)-(q) samples images from all 17 tracking attributes. (a.1)-(a.3) three levels of visibility conditions