[論文レビュー] FMODetect: Robust Detection and Trajectory Estimation of Fast Moving Objects.

Denys Rozumnyi, Jiřı́ Matas+3 more|arXiv (Cornell University)|Dec 15, 2020

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

FMODetectは、ぼかし除去とマッティングを分離することで、高速移動物体のロバストな検出と軌跡推定を学習ベースで行う手法を提案する。まず、切断距離関数を用いて物体を検出する。その後、マッティングとフィッティングネットワークを用いて軌跡と背景を除いた外観を推定し、エネルギー最小化に基づくぼかし除去を用いてシャープな再構成を行う。このアプローチは、ぼかし除去手法と比較して数個のオーダー速い推論速度を達成し、最先端の性能を実現する。

ABSTRACT

We propose the first learning-based approach for detection and trajectory estimation of fast moving objects. Such objects are highly blurred and move over large distances within one video frame. Fast moving objects are associated with a deblurring and matting problem, also called deblatting. Instead of solving the complex deblatting problem jointly, we split the problem into matting and deblurring and solve them separately. The proposed method first detects all fast moving objects as a truncated distance function to the trajectory. Subsequently, a matting and fitting network for each detected object estimates the object trajectory and its blurred appearance without background. For the sharp appearance estimation, we propose an energy minimization based deblurring. The state-of-the-art methods are outperformed in terms of trajectory estimation and sharp appearance reconstruction. Compared to other methods, such as deblatting, the inference is of several orders of magnitude faster and allows applications such as real-time fast moving object detection and retrieval in large video collections.

研究の動機と目的

• 1フレーム内で大きく移動し、著しくぼやけた高速移動物体の検出と再構成の課題に対処すること。
• 計算コストが高く、複雑であるため、統合的なぼかし除去手法の限界を克服すること。
• 大規模な動画コレクションにおける動画検索や物体検出などのリアルタイム応用を可能にすること。
• 高速移動物体の軌跡推定およびシャープな外観再構成の精度を向上させること。

提案手法

• まず、物体の軌跡を表現するための切断距離関数を用いて、高速移動物体を検出する。
• 検出された各物体に対して、マッティングとフィッティングネットワークを適用し、その軌跡を推定し、背景を除いた外観を抽出する。
• シャープな外観再構成のため、マッティング段階とは分離されたエネルギー最小化に基づくぼかし除去技術を用いる。
• 複雑なぼかし除去問題を2段階に分離する：マッティング（前景/背景分離）とぼかし除去（シャープ画像回復）。
• エンドツーエンドで訓練され、推定された軌跡の正確さと再構成されたシャープフレームの視覚的品質に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの手法は、著しくぼやけた高速移動物体のロバストな検出と軌跡推定を達成できるか？
• RQ2 マッティングとぼかし除去を分離することで、統合的なぼかし除去と比較して性能が向上し、推論が高速化するか？
• RQ3 この手法は、大規模な動画検索応用におけるリアルタイム処理を可能にするか？
• RQ4 提案手法は、最先端の手法と比較して、軌跡推定およびシャープな外観再構成において優れているか？

主な発見

• 提案手法は、高速移動物体の軌跡推定において最先端の性能を達成した。
• 既存手法よりもシャープな外観再構成において優れており、視覚的に優れた、より正確な結果を生成した。
• 推論速度は統合的なぼかし除去手法と比較して数個のオーダー速く、リアルタイム応用を可能にした。
• マッティングとぼかし除去を分離したアプローチは、エンドツーエンドのぼかし除去と比較して、より高いロバスト性と効率性を示した。