[論文レビュー] Improving Underwater Visual Tracking With a Large Scale Dataset and Image Enhancement

Basit Alawode, Fayaz Ali Dharejo+7 more|arXiv (Cornell University)|Aug 30, 2023

Image Enhancement Techniques被引用数 5

ひとこと要約

本論文は、275,000フレームおよび400本の動画シーケンスを含む大規模な水中視覚オブジェクト追跡データセット「UVOT400」と、SOTAトレッカー性能を最大5.0% AUC向上させる新規水中画像強調法（UWIE）を紹介する。この手法は、画像品質を追跡の前段階で向上させることで、低視界、色収差、散乱といった困難な水中環境下でも追跡のロバスト性を向上させる。

ABSTRACT

This paper presents a new dataset and general tracker enhancement method for Underwater Visual Object Tracking (UVOT). Despite its significance, underwater tracking has remained unexplored due to data inaccessibility. It poses distinct challenges; the underwater environment exhibits non-uniform lighting conditions, low visibility, lack of sharpness, low contrast, camouflage, and reflections from suspended particles. Performance of traditional tracking methods designed primarily for terrestrial or open-air scenarios drops in such conditions. We address the problem by proposing a novel underwater image enhancement algorithm designed specifically to boost tracking quality. The method has resulted in a significant performance improvement, of up to 5.0% AUC, of state-of-the-art (SOTA) visual trackers. To develop robust and accurate UVOT methods, large-scale datasets are required. To this end, we introduce a large-scale UVOT benchmark dataset consisting of 400 video segments and 275,000 manually annotated frames enabling underwater training and evaluation of deep trackers. The videos are labelled with several underwater-specific tracking attributes including watercolor variation, target distractors, camouflage, target relative size, and low visibility conditions. The UVOT400 dataset, tracking results, and the code are publicly available on: https://github.com/BasitAlawode/UWVOT400.

研究の動機と目的

• 深層学習トレッカーのロバストな訓練と評価を可能にするために、大規模で多様性に富み、正確にアノテーションが施された水中視覚追跡データセットの不足を解消すること。
• 低視界、色収差、光の散乱といった特徴的な課題により、従来の屋外で訓練されたトレッカーが水中環境で著しく性能を落とす問題を克服すること。
• 水中視覚追跡に特化した汎用的な画像強調法を開発し、トレッカーのロバスト性と正確性を向上させること。
• 多様な水中環境下でSOTAトレッカーの性能を評価・比較できる包括的なベンチマークをUVOT400に構築すること。
• 画像強調が、屋外と水中の追跡性能の差を顕著に縮小することを実証し、特に視界が著しく悪い状況や色の変動が激しい状況で顕著である。

提案手法

• 400本の動画シーケンス、275,000フレームの手動アノテーションを含み、平均シーケンス長が688フレームの新規大規模水中視覚オブジェクト追跡ベンチマークデータセット「UVOT400」を提案。
• 各動画に、水中特有の課題である水色変化、 camouflage（擬態）、低視界、ターゲットの干渉要因など、合計17の追跡属性をアノテーション。
• 散乱および吸収の影響下でもコントラスト、色の正確性、シャープネスに焦点を当て、下流の追跡に最適化された画像品質を向上させる新規水中画像強調アルゴリズム（UWIE）を設計。
• SOTA視覚トレッカーに適用する前にUWIEを前処理として統合し、強調済みと生の水中シーケンスの両方でエンドツーエンドの性能評価を可能にする。
• 公的水中データセット上で、参照ありおよび参照なしの画像品質指標を用いてUWIEの有効性を検証。
• 25種類のSOTA屋外トレッカーをUVOT400で生のシーケンスと強調済みシーケンスの両方でベンチマーク化し、多様な水中属性における性能向上を定量的に評価。

Figure 1: Underwater performance drops for all selected recent SOTA trackers compared to open-air scenarios [ 62 , 22 ] , in terms of the success rate. Trackers tested: Ocean [ 86 ] , SiamAttn [ 84 ] , AutoMatch [ 85 ] , KeepTrack [ 60 ] , TrSiam [ 77 ] , TrDiMP [ 77 ] , STMTrack [ 27 ] , TransT [ 1

実験結果

リサーチクエスチョン

• RQ1 画像強調は、水中環境下におけるSOTA視覚トレッカーの性能をどの程度向上させるか？
• RQ2 屋外で訓練されたトレッカーは、屋外ベンチマークと比較して水中シーケンスでどの程度性能が低下するか？ そのギャップは是正可能か？
• RQ3 水色変化、擬態、低視界といった特定の水中属性がトレッカー性能に与える影響は何か？ また、画像強調はこれらの影響をどのように緩和するか？
• RQ4 エンドツーエンドの再トレーニングを必要としない汎用的な画像強調法が、多様な水中シナリオにおいて追跡正確性を顕著に向上させられるか？
• RQ5 提案されたUVOT400データセットは、水中視覚追跡評価における多様性、規模、現実性の観点から、既存のベンチマークと比較してどのように差別化されるか？

主な発見

• SOTA視覚トレッカーの生の水中シーケンスにおける性能は、屋外ベンチマークと比較して著しく低下し、特に低視界条件下では成功確率で最大20%の性能低下を示した。
• 提案されたUWIE画像強調法を適用することで、UVOT400ベンチマーク全体でSOTAトレッカーの平均AUC性能が最大5.0%向上した。
• ToMPトレッカーの生UVOTシーケンスにおける性能はAUC 52.60%であったが、強調後は61.40%に向上し、屋外追跡との性能ギャップが最大6.0%まで縮小された。
• STMTrackトレッカーは生UVOTシーケンスでAUC 54.50%を記録したが、強調後は60.40%に向上し、多様な水中属性にわたる一貫した向上が確認された。
• UWIE手法は、参照ありおよび参照なしの両方の画像品質指標において、既存のSOTA水中画像強調技術を上回り、追跡に特化した強調の有効性を裏付けた。
• UVOT400データセットは、水色変化と低視界が最も深刻な影響を与える属性であることを明らかにしたが、画像強調によりその悪影響が顕著に緩和され、特に青緑色系および濁った状況下で顕著であった。

Figure 2: UVOT400 dataset - sample images with targets from diverse categories showing the tracked target object bounding boxes predicted by 12 SOTA trackers, color-coded as shown in the legend. (a)-(q) samples images from all 17 tracking attributes. (a.1)-(a.3) three levels of visibility conditions