[論文レビュー] Fast Visual Object Tracking with Rotated Bounding Boxes

Bao Xin Chen, John K. Tsotsos|arXiv (Cornell University)|Jul 8, 2019

Video Surveillance and Tracking Methods参考文献 35被引用数 32

ひとこと要約

この論文では、SiamMask_Eを提案する。これは、セグメンテーションマスクに楕円をフィッティングすることで回転境界ボックス推定を向上させ、GPU上で80 fpsのリアルタイム性能を達成する視覚的オブジェクト追跡手法である。SiamMaskと比較して、VOT2019で65.2%のAccuracyと30.9%のEAOを達成し、それぞれ5.6%および2.6%の向上を示したが、リアルタイム性能を維持している。

ABSTRACT

In this paper, we demonstrate a novel algorithm that uses ellipse fitting to estimate the bounding box rotation angle and size with the segmentation(mask) on the target for online and real-time visual object tracking. Our method, SiamMask_E, improves the bounding box fitting procedure of the state-of-the-art object tracking algorithm SiamMask and still retains a fast-tracking frame rate (80 fps) on a system equipped with GPU (GeForce GTX 1080 Ti or higher). We tested our approach on the visual object tracking datasets (VOT2016, VOT2018, and VOT2019) that were labeled with rotated bounding boxes. By comparing with the original SiamMask, we achieved an improved Accuracy of 0.652 and 0.309 EAO on VOT2019, which is 0.056 and 0.026 higher than the original SiamMask. The implementation is available on GitHub: https://github.com/baoxinchen/siammask_e.

研究の動機と目的

• リアルタイム視覚的オブジェクト追跡における回転境界ボックス推定の精度を向上させること。
• 遮蔽および運動ブラー下での回転角度とスケール推定における計算的課題に対処すること。
• セグメンテーションマスクを用いて境界ボックス予測を精緻化することで、最先端のSiamMaskトラッカーを改善すること。
• 既存の追跡フレームワークに容易に統合可能な、高速で効率的な回転境界ボックスフィッティング手法を開発すること。
• 背景の雑音を低減し、オブジェクトの向きを符号化する回転境界ボックスを用いるVOTベンチマークで、より優れた性能を達成すること。

提案手法

• SiamMaskが生成するセグメンテーションマスクを、回転境界ボックス推定の入力として使用する。
• マスクに楕円フィッティングを適用し、最適な回転角度および長軸・短軸長を推定する。
• 最良のフィットする楕円の幾何的性質を活用して、対象をタイトに囲む回転長方形を計算する。
• 計算オーバーヘッドを最小限に抑えて、楕円ベースの境界ボックス推定をSiamMaskフレームワークに統合する。
• 局所化精度をさらに向上させ、ドリフトを低減するために、リファインメントステップを適用する。
• GPUアクセラレーションに最適化された楕円フィッティング処理により、リアルタイムの推論速度（80 fps）を維持する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションマスクに楕円フィッティングを適用することで、リアルタイム追跡における回転境界ボックス推定の精度が向上するか？
• RQ2 IoUおよび追跡のロバスト性の観点から、楕円ベースの境界ボックス推定は、最小面積境界ボックス（MAB）法と比較してどのように性能を発揮するか？
• RQ3 リファインメントステップを追加することで、最終的な追跡精度と安定性にどのような影響を与えるか？
• RQ4 提案手法は、挑戦的なVOTベンチマークで精度を向上させつつ、高いフレームレート（例：80 fps）を維持できるか？
• RQ5 楕円ベースの方向推定は、遮蔽、運動ブラー、ポーズ変化の下でも、より優れた一般化性能をもたらすか？

主な発見

• SiamMask_EはVOT2019で65.2%のAccuracyと30.9%のEAOを達成し、元のSiamMaskと比較してそれぞれ5.6%および2.6%の向上を示した。
• アブレーションスタディにより、楕円ベースの回転推定が最小面積境界ボックス法を顕著に上回っていることが示された。
• SiamMask_Eにリファインメントステップを追加すると、VOT2019でEAOが0.012向上し、局所化ドリフト低減の有効性が裏付けられた。
• GeForce GTX 1080 Ti以上を搭載したGPU上で80 fpsのリアルタイムフレームレートを維持しており、実用的導入が可能である。
• リファインメントを施したSiamMask_Eは、VOT2018およびVOT2019ベンチマークのすべてで最高の性能を示し、定量的・定性的な評価においてSiamMaskおよびSiamRPN++を上回った。
• アブレーションスタディにより、MAB角度ではなく楕円角度を使用することで、リファインメントを組み合わせた場合でさえも追跡性能が向上することが確認された。