[論文レビュー] Improving Multiple Object Tracking with Optical Flow and Edge Preprocessing

David-Alexandre Beaupré, Guillaume-Alexandre Bilodeau+1 more|PolyPublie (École Polytechnique de Montréal)|Jan 29, 2018

Video Surveillance and Tracking Methods参考文献 9被引用数 9

ひとこと要約

本稿では、背景差分法に光学フローとエッジ検出を統合することで、都市部のシーンにおける複数対象追跡（MOT）の性能を向上させる新規な前処理手法を提案する。断片化されたボビンを統合し、互いに逆方向に移動する対象を分離し、エッジ処理による境界の最適化を行うことで、4つの実世界の都市映像データセットにおいて検出精度と追跡性能が向上する。

ABSTRACT

In this paper, we present a new method for detecting road users in an urban environment which leads to an improvement in multiple object tracking. Our method takes as an input a foreground image and improves the object detection and segmentation. This new image can be used as an input to trackers that use foreground blobs from background subtraction. The first step is to create foreground images for all the frames in an urban video. Then, starting from the original blobs of the foreground image, we merge the blobs that are close to one another and that have similar optical flow. The next step is extracting the edges of the different objects to detect multiple objects that might be very close (and be merged in the same blob) and to adjust the size of the original blobs. At the same time, we use the optical flow to detect occlusion of objects that are moving in opposite directions. Finally, we make a decision on which information we keep in order to construct a new foreground image with blobs that can be used for tracking. The system is validated on four videos of an urban traffic dataset. Our method improves the recall and precision metrics for the object detection task compared to the vanilla background subtraction method and improves the CLEAR MOT metrics in the tracking tasks for most videos.

研究の動機と目的

• 都市部の交通映像における対象検出およびセグメンテーションを改善し、下流の複数対象追跡（MOT）性能を向上させること。
• 背景差分法の主な限界（ボビンの統合、断片化、影アーチファクト、過大な検出など）を後処理により是正すること。
• 光学フローとエッジ検出を活用した堅牢な前処理パイプラインを構築し、トラッカーへの入力前に前景ボビンを最適化すること。
• 多様な都市映像シーケンスにおいて、対象検出の精度と再現率を向上させるとともに、CLEAR MOTの指標を改善すること。

提案手法

• 各映像フレームにおいて、背景差分法を適用して初期の前景ボビン（領域の候補）を生成する。
• 各ボビンに対して密な光学フロー（パッチサイズ8）を計算し、動きの整合性を分析することで、類似したフローベクトルを持つ領域を統合し、断片化を低減する。
• 光学フローを用いて、逆方向に移動する対象が重なった場合のボビンの統合を検出し、分離する。
• Cannyエッジ検出器を前景ボビンおよび背景画像に適用し、対象のエッジを抽出するとともに、背景ノイズ（例：道路マーク）を除去する。
• エッジ情報を利用してボビンの境界を最適化し、影による過剰セグメンテーションを低減するとともに、対象のサイズ推定を改善する。
• 動きに基づく統合、フローに基づく分離、エッジに基づく境界調整を統合し、最適化された新しい二値前景画像を構築することで、トラッカーへの入力品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 光学フローとエッジ処理は、背景差分法を用いた都市部映像シーケンスにおいて、誤検出の低減と対象境界推定の向上に有効に機能するか？
• RQ2 光学フローによる動きの整合性を用いることで、複数対象追跡におけるボビンの統合と断片化をどの程度解消できるか？
• RQ3 重なったり密に近接した道路利用者を含むシーンにおいて、エッジに基づく最適化は対象検出および追跡の精度にどのように影響するか？
• RQ4 提案手法による前処理は、多様な都市交通シナリオにおいて、標準的なMOT評価指標（例：MOTA、MOTP、精度、再現率）に測定可能な向上をもたらすか？

主な発見

• Sherbrookeデータセットにおいて、ViBeの再現率は0.606から0.752に向上し、精度は0.681から0.739に向上し、顕著な検出性能の向上が確認された。
• MKCFトラッカーにおいて、SherbrookeシーケンスのMOTAは0.317から0.523に、MOTPは0.553から0.576に向上し、強力な追跡性能の向上が示された。
• Rene-Levesqueシーケンスでは、UTのMOTAが5%（0.404から0.690）上昇し、MOTPが12%（0.576から0.590）上昇し、密集した低解像度シーンでも有効であることが示された。
• 本手法は影による過剰セグメンテーションを顕著に低減し、対象のサイズ推定を改善した。これにより、トラッカーの最小ボビンサイズ閾値を調整した後、小さな対象の追跡がより正確に行えるようになった。
• St-Marcで4人の歩行者が一緒に移動するような状況でも、歩行者が逆方向に交差するルワンシーケンスにおいて、MKCFのMOTAは0.501から0.629に、MOTPは0.582から0.600に向上し、複雑な隠蔽状況でも堅牢であることが示された。
• 密にグループ化された歩行者の分離には限界があるものの（例：St-Marcで4人同時移動）、MKCFおよびUTの両方でMOTAが向上し、多様な都市環境に一般化可能であることが示された。