[論文レビュー] Effects of Blur and Deblurring to Visual Object Tracking

Qing Guo, Wei Feng+4 more|arXiv (Cornell University)|Aug 21, 2019

Video Surveillance and Tracking Methods参考文献 57被引用数 7

ひとこと要約

本稿では、100のシーンにまたがる500本の動画を用意したBlurred Video Tracking (BVT)ベンチマークを紹介し、動きぼけの程度が異なる動画を用いてトラッカーのロバスト性を定量的に評価する。また、微調整されたDeblurGAN識別器をぼけ評価器として用いたGANベースの適応的デブラーイング手法を提案。この手法は、トラッキング中にフレームを条件付きでデブラーイングすることで、6つの最先端トラッカーの精度を向上させ、特に重度のぼけがかかる動画において顕著な改善効果を示す。

ABSTRACT

Intuitively, motion blur may hurt the performance of visual object tracking. However, we lack quantitative evaluation of tracker robustness to different levels of motion blur. Meanwhile, while image deblurring methods can produce visually clearer videos for pleasing human eyes, it is unknown whether visual object tracking can benefit from image deblurring or not. In this paper, we address these two problems by constructing a Blurred Video Tracking benchmark, which contains a variety of videos with different levels of motion blurs, as well as ground truth tracking results for evaluating trackers. We extensively evaluate 23 trackers on this benchmark and observe several new interesting results. Specifically, we find that light blur may improve the performance of many trackers, but heavy blur always hurts the tracking performance. We also find that image deblurring may help to improve tracking performance on heavily blurred videos but hurt the performance on lightly blurred videos. According to these observations, we propose a new GAN based scheme to improve the tracker robustness to motion blurs. In this scheme, a finetuned discriminator is used as an adaptive assessor to selectively deblur frames during the tracking process. We use this scheme to successfully improve the accuracy and robustness of 6 trackers.

研究の動機と目的

• 動きぼけの程度が異なる状況下における視覚的オブジェクトトラッカーのロバスト性を評価する包括的なベンチマークを確立すること。
• 最先端の画像デブラーイング手法が、さまざまなぼけの程度において視覚的オブジェクトトラッキングの性能を向上させるか、あるいは低下させるかを調査すること。
• 軽度のぼけやシャープなフレームにおいて性能を損なわず、一般化可能なデブラーイング戦略を考案し、トラッカーの精度を向上させること。
• 提案手法の有効性を、多様なぼけの程度において複数の最先端トラッカーを用いて検証すること。

提案手法

• 100のシーンからなる500本の動画を含む、新しいBlurred Video Tracking (BVT)ベンチマークを構築。各シーンに5本の動画を割り当て、動きぼけの程度を段階的に増加させた。
• トラッカーの性能とぼけに対するロバスト性を測定するため、3つの評価指標（AUC、精度、成功率）を用いる。
• 各フレームのぼけの深刻度に基づき、デブラーイングを実施するかどうかを判断するため、微調整されたDeblurGAN識別器を適応的ぼけ評価器として使用。
• リアルタイムで、元のフレームまたはデブラーイング済みフレームのどちらを検索領域として使用するかを評価器が決定し、オブジェクト尤度がより高いボクセルを採用。
• 観測モデルを変更することで、7つの既存のトラッカー（例：ECO, STRCF, SiamFC）に適応的デブラーイング機構を統合。必要に応じてデブラーイング特徴を組み込む。
• ぼけの深刻度が重度である場合にのみデブラーイングをトリガーするため、元フレームとデブラーイング済みフレームの識別器出力差分に閾値（θ = 2.5）を設定。

実験結果

リサーチクエスチョン

• RQ1 動きぼけの程度が変化することで、現代の視覚的オブジェクトトラッカーの性能にどのような影響を与えるか？
• RQ2 最先端の画像デブラーイング手法を適用することで、さまざまなぼけの程度において視覚的オブジェクトトラッキングの性能は向上するか、あるいは悪化するか？
• RQ3 学習済みぼけ評価によってトリガーされる適応的デブラーイング戦略は、軽度のぼけやシャープなフレームにおいて性能を損なわず、トラッカーのロバスト性を向上させることができるか？
• RQ4 提案された適応的デブラーイング手法は、既存の最先端トラッカーの精度とロバスト性をどの程度向上させることができるか？

主な発見

• 軽度のぼけは、多くのトラッカーの性能を向上させる。これは、シャープな動画よりも軽度のぼけがかかる動画でAUCスコアが高くなることからも裏付けられる。
• 重度のぼけは、大多数のトラッカーにおいて一貫して追跡精度を低下させる。BVTベンチマークにおいて顕著な性能低下が観察された。
• DeblurGAN や SRN といったデブラーイング手法は、重度のぼけがかかる動画では追跡性能を向上させるが、軽度のぼけやシャープな動画では精度を低下させる。
• 微調整されたDeblurGAN識別器を用いた本手法の適応的デブラーイングは、評価した7つのトラッカーのうち6つで精度を向上させた。特に、BT_ganbrtは元のBTに対して相対的に9.3%の向上を達成した。
• STRCF_ganbrt, ECO_ganbrt, SiamFC_ganbrt は、すべてのぼけの程度で元のバージョンを上回る性能を示し、本手法の汎用性を示している。
• Staple_CA_ganbrt は2.5%の相対的向上を達成したが、fDSST_ganbrt はfDSSTと比較してシャープな動画ではわずかに性能が低下しており、一部のケースでデブラーイングアーティファクトへの感受性が顕在した。