[論文レビュー] Optical Flow Based Real-time Moving Object Detection in Unconstrained Scenes

Junjie Huang, Wei Zou+2 more|arXiv (Cornell University)|Jul 13, 2018

Video Surveillance and Tracking Methods参考文献 16被引用数 25

ひとこと要約

本稿では、動的背景をオンラインでモデル化するための光学フローに基づくリアルタイム移動物体検出フレームワークを提案する。光学フローからオンラインでホモロジー行列を推定し、動的背景をモデル化するとともに、二段階の判断機構を用いて耐障害性を向上させる。本手法は10種類の多様な動画シーケンスで平均F-measure 0.747を達成し、1フレームあたり約139msのリアルタイム効率を維持する。

ABSTRACT

Real-time moving object detection in unconstrained scenes is a difficult task due to dynamic background, changing foreground appearance and limited computational resource. In this paper, an optical flow based moving object detection framework is proposed to address this problem. We utilize homography matrixes to online construct a background model in the form of optical flow. When judging out moving foregrounds from scenes, a dual-mode judge mechanism is designed to heighten the system's adaptation to challenging situations. In experiment part, two evaluation metrics are redefined for more properly reflecting the performance of methods. We quantitatively and qualitatively validate the effectiveness and feasibility of our method with videos in various scene conditions. The experimental results show that our method adapts itself to different situations and outperforms the state-of-the-art methods, indicating the advantages of optical flow based methods.

研究の動機と目的

• 動的背景を有する非制約的シーンにおける、計算リソースが限られた環境下でのリアルタイム移動物体検出の課題に対処すること。
• バッチ処理やグローバル最適化、静止シーンの仮定に依存する既存手法の限界を克服すること。
• 光学フローとホモロジー行列を活用することで、オンラインかつ効率的かつ高精度な背景モデル化手法を開発すること。
• 二段階の判断機構により、センサーゾーミングやゆっくり動く前景などの困難な状況へのシステムの適応性を向上させること。
• フレームごとの前景サイズの不均衡を反映するよう、評価指標を再定義すること。

提案手法

• FlowNet2.0を用いて光学フローを推定し、画像全体にわたる密な運動ベクトルを取得する。
• KLT や LK のようなトラッキングアルゴリズムに依存せずに、光学フロー場から直接点対を抽出してホモロジー行列を計算する。
• 推定されたホモロジー行列を用いて、光学フローの形で背景モデルを構築し、オンラインかつリアルタイムの背景モデル化を実現する。
• 観測された光学フローと背景モデルが予測するフローとの画素単位の差分を計算することで、移動物体を検出する。
• センサーゾーミングなどの困難な状況に適応するため、二段階の判断機構を適用する。
• フレーム単位の適合率、再現率、F-measure を再定義し、全フレームにわたって平均化することで動画単位の性能を算出し、バランスの取れた評価を実現する。

実験結果

リサーチクエスチョン

• RQ1 光学フローに基づく手法は、動的背景を有する非制約的シーンでリアルタイムの移動物体検出を達成できるか？
• RQ2 ホモロジー行列を用いた本手法のオンライン背景モデル化は、従来のバッチ処理や静的背景モデルと比べてどのように優れているか？
• RQ3 センサーゾーミングや複雑な運動を伴う状況において、二段階の判断機構はどれほど耐障害性を向上させるか？
• RQ4 再定義された評価指標は、フレームごとの前景サイズの変動が著しい動画において、手法の性能をどれほど的確に反映しているか？
• RQ5 本フレームワークの計算効率はどの程度で、RANSACの反復回数などのアルゴリズム的パrameterにどのように依存するか？

主な発見

• 提案手法は10種類の多様な動画シーケンスで平均画素単位のF-measure 0.747を達成し、MCD5.8ms、SA、SCBUを含むSOTA手法を上回る性能を示した。
• 微小でゆっくり動く前景を有するPG1シーケンスでは、F-measure 0.550を維持し、低コントラストや微細な運動に対しても耐障害性を示した。
• F-measureの閾値0.5における成功率が0.92に達し、実用的導入における高い信頼性を示した。
• 光学フロー推定が1フレームあたり139msの合計時間のうち123msを占めており、前景検出はたった16msで完了していることから、性能は主にフロー推定の速度に制限されていることが明らかになった。
• RANSACの反復回数が約40に達すると、成功率は0.92以上に達し、それ以上に反復回数を増やしても性能向上がほとんど得られなかったことから、精度と速度の最適なトレードオフが得られていると考えられる。
• 再定義された評価指標は、特に前景サイズの不均衡が著しい動画において性能差を的確に浮き彫りにし、結果の代表性和信頼性を高めた。