[论文解读] Improving Underwater Visual Tracking With a Large Scale Dataset and Image Enhancement

Basit Alawode, Fayaz Ali Dharejo+7 more|arXiv (Cornell University)|Aug 30, 2023

Image Enhancement Techniques被引用 5

一句话总结

本文提出UVOT400，一个大规模水下视觉目标跟踪数据集，包含275,000帧标注图像和400个视频序列，同时提出一种新型水下图像增强方法（UWIE），可将SOTA跟踪器性能提升最高达5.0% AUC。该方法通过在跟踪前提升图像质量，显著增强了在低能见度、色彩失真和光散射等复杂水下环境下的跟踪鲁棒性。

ABSTRACT

This paper presents a new dataset and general tracker enhancement method for Underwater Visual Object Tracking (UVOT). Despite its significance, underwater tracking has remained unexplored due to data inaccessibility. It poses distinct challenges; the underwater environment exhibits non-uniform lighting conditions, low visibility, lack of sharpness, low contrast, camouflage, and reflections from suspended particles. Performance of traditional tracking methods designed primarily for terrestrial or open-air scenarios drops in such conditions. We address the problem by proposing a novel underwater image enhancement algorithm designed specifically to boost tracking quality. The method has resulted in a significant performance improvement, of up to 5.0% AUC, of state-of-the-art (SOTA) visual trackers. To develop robust and accurate UVOT methods, large-scale datasets are required. To this end, we introduce a large-scale UVOT benchmark dataset consisting of 400 video segments and 275,000 manually annotated frames enabling underwater training and evaluation of deep trackers. The videos are labelled with several underwater-specific tracking attributes including watercolor variation, target distractors, camouflage, target relative size, and low visibility conditions. The UVOT400 dataset, tracking results, and the code are publicly available on: https://github.com/BasitAlawode/UWVOT400.

研究动机与目标

• 解决缺乏大规模、多样化且标注完善的水下视觉目标跟踪数据集的问题，以支持深度学习跟踪器的鲁棒训练与评估。
• 克服现有开放环境训练的跟踪器在水下环境中性能显著下降的问题，原因包括低能见度、色彩失真和光散射等独特挑战。
• 开发一种专为水下视觉跟踪设计的通用图像增强方法，以提升跟踪器的鲁棒性与准确性。
• 在UVOT400上建立全面的基准，用于评估和比较不同SOTA跟踪器在多样化水下条件下的性能表现。
• 证明图像增强可显著缩小开放环境与水下跟踪之间的性能差距，尤其在严重能见度下降与色彩变化条件下效果显著。

提出的方法

• 提出一个新的大规模水下视觉目标跟踪基准数据集UVOT400，包含400个视频序列，共275,000帧人工标注图像，平均序列长度为688帧。
• 为每个视频标注17项跟踪属性，包括水下特有挑战，如水色变化、伪装、低能见度和目标干扰物等。
• 设计一种新型水下图像增强算法（UWIE），专门针对下游跟踪任务提升视觉质量，重点优化在散射与吸收效应下的对比度、色彩保真度与清晰度。
• 将UWIE方法作为跟踪前处理步骤，集成至SOTA视觉跟踪器中，实现对增强前后水下序列的端到端性能评估。
• 同时使用基于参考与无参考的图像质量度量指标，验证UWIE在公开水下数据集上的有效性。
• 在UVOT400上对25种SOTA开放环境跟踪器进行基准测试，分别在原始与增强条件下评估性能提升，覆盖多样化水下属性。

Figure 1: Underwater performance drops for all selected recent SOTA trackers compared to open-air scenarios [ 62 , 22 ] , in terms of the success rate. Trackers tested: Ocean [ 86 ] , SiamAttn [ 84 ] , AutoMatch [ 85 ] , KeepTrack [ 60 ] , TrSiam [ 77 ] , TrDiMP [ 77 ] , STMTrack [ 27 ] , TransT [ 1

实验结果

研究问题

• RQ1 图像增强在多大程度上提升了SOTA视觉跟踪器在水下环境中的性能？
• RQ2 与开放环境基准相比，开放环境训练的跟踪器在水下序列上的性能下降程度如何？该性能差距是否可被缓解？
• RQ3 特定水下属性（如水色变化、伪装与低能见度）对跟踪器性能有何影响？图像增强如何减轻这些影响？
• RQ4 一种通用图像增强方法是否能在不进行端到端重训练的前提下，显著提升多种水下场景下的跟踪准确性？
• RQ5 与现有基准相比，所提出的UVOT400数据集在多样性、规模与真实性方面有何优势，适用于水下视觉跟踪评估？

主要发现

• SOTA视觉跟踪器在原始水下序列上的性能相比开放环境基准显著下降，尤其在低能见度条件下，成功率最高下降达20%。
• 应用所提出的UWIE图像增强方法后，SOTA跟踪器在UVOT400基准上的平均AUC性能最高提升5.0%。
• 对于ToMP跟踪器，其在原始UVOT序列上的AUC为52.60%，增强后提升至61.40%，与开放环境跟踪的性能差距缩小最多达6.0%。
• STMTrack跟踪器在原始UVOT序列上AUC为54.50%，增强后提升至60.40%，表明在多样化水下属性下均实现稳定增益。
• UWIE方法在基于参考与无参考的图像质量度量指标上均优于现有SOTA水下图像增强技术，验证了其在跟踪特定增强任务中的有效性。
• UVOT400数据集表明，水色变化与低能见度是最具破坏性的属性，但图像增强显著缓解了其负面影响，尤其在蓝绿色与浑浊水体条件下效果显著。

Figure 2: UVOT400 dataset - sample images with targets from diverse categories showing the tracked target object bounding boxes predicted by 12 SOTA trackers, color-coded as shown in the legend. (a)-(q) samples images from all 17 tracking attributes. (a.1)-(a.3) three levels of visibility conditions