[論文レビュー] A Multilayer-Based Framework for Online Background Subtraction with Freely Moving Cameras

Yizhe Zhu, Ahmed Elgammal|arXiv (Cornell University)|Sep 4, 2017

Video Surveillance and Tracking Methods参考文献 35被引用数 5

ひとこと要約

本稿では、動きカメラ動画向けに、各前景オブジェクトおよび背景を独立したレイヤーとしてモデル化するマルチレイヤー型オンライン背景差分フレームワークを提案する。運動および外観モデルを用いたベイズ推論により確率マップを推定し、その後にマルチラベルグラフカットを適用して画素単位のセグメンテーションを実現する。本手法は、重なったり関節的に動いたりする複雑な動きを示すシーンにおいても、最先端の手法を著しく上回るマルチ前景セグメンテーション性能を発揮する。

ABSTRACT

The exponentially increasing use of moving platforms for video capture introduces the urgent need to develop the general background subtraction algorithms with the capability to deal with the moving background. In this paper, we propose a multilayer-based framework for online background subtraction for videos captured by moving cameras. Unlike the previous treatments of the problem, the proposed method is not restricted to binary segmentation of background and foreground, but formulates it as a multi-label segmentation problem by modeling multiple foreground objects in different layers when they appear simultaneously in the scene. We assign an independent processing layer to each foreground object, as well as the background, where both motion and appearance models are estimated, and a probability map is inferred using a Bayesian filtering framework. Finally, Multi-label Graph-cut on Markov Random Field is employed to perform pixel-wise labeling. Extensive evaluation results show that the proposed method outperforms state-of-the-art methods on challenging video sequences.

研究の動機と目的

• 静止カメラを仮定する伝統的な背景差分手法や二値セグメンテーションに起因する制限を解消し、複数の移動オブジェクトが存在する動きカメラ環境下でも有効に機能する手法の開発。
• 動画シーケンス全体にわたり背景および前景モデルを動的に維持・更新できる、オンラインでリアルタイム処理が可能なフレームワークの構築。
• オクルージョンや関節的運動を含む複雑な動きを示すシーンにおいても、正確なマルチラベルセグメンテーションを実現する。
• 二値セグメンテーション指標とは異なる、動きカメラシナリオにおけるマルチラベル背景差分のための新規評価手法の設計。

提案手法

• 各前景オブジェクトおよび背景は独立した処理レイヤーに割り当てられ、運動および外観のモデル化を並列かつ独立して行える。
• 各レイヤー内の処理ブロックは以下の3段階を実行する：(1) 動画ベクトルを用いたガウス的信念値伝搬による運動モデル推定；(2) 運動モデルの伝搬による外観および事前確率の予測；(3) 現在フレームの証拠を用いたカーネル密度推定による確率マップ推定。
• ベイズ推論フレームワークにより、過去および現在の証拠を統合し、各レイヤーの画素ごとの後方確率を更新する。
• 正規化された確率マップに対して、マークフ・ランダムフィールド上でのマルチラベルグラフカットを適用し、最終的な画素単位のセグメンテーションを生成する。
• 自己初期化およびオンライン適応をサポートしており、フル動画の事前ロードなしにリアルタイム処理が可能である。
• 各オブジェクトの精度、再現率、Fスコアを算出するために、ハンガリアンアルゴリズムを用いた正解領域マッチングに基づく修正評価指標が用いられる。

実験結果

リサーチクエスチョン

• RQ1 複数の重なった前景オブジェクトが存在する動きカメラ動画に対して、背景差分を効果的に拡張する方法は何か？
• RQ2 各オブジェクトを独立した処理レイヤーとして扱うマルチレイヤー枠組みは、動的シーンにおける二値セグメンテーションと比較して、セグメンテーション精度を向上させ得るか？
• RQ3 運動および外観モデリングを組み合わせたオンラインベイズ推論は、複雑な動画シーケンスにおいて、頑健でリアルタイムなマルチラベルセグメンテーションをどの程度実現可能にするか？
• RQ4 本手法は、事前知識の欠如下でも、オブジェクトのオクルージョン、関節的運動、初期オブジェクト検出といった課題をどのように処理するか？

主な発見

• 本手法は、ホプキンスデータセット全体のフレームに対してFスコア86.16を達成し、SLT（82.00）およびベースライン（64.35）を著しく上回った。
• 最初の10フレームではFスコア85.06を達成し、初期知識が限定的であっても優れた性能を示した。時間経過とともに性能が向上した。
• 定性的な結果から、本手法は近接するか交差するオブジェクトを正確に分離できることを示しており、SLTはしばしばそれらを一つの領域に統合してしまう。
• 運動の不一致に基づく独立したレイヤー初期化により、オブジェクトがシーンに進入した直後に即座に検出可能である。
• 関節的運動に対しても効果的に対応でき、人間の複雑な運動を含むシーケンスにおいても、オブジェクトごとの外観モデリングにより良好な性能を発揮した。
• 計算時間の大部分は運動推定およびグラフカットに占められるが、GPUアクセラレーションを適用すれば、未最適化のMATLABコードで1フレーム7秒の実行時間であってもリアルタイム処理が可能である。