[論文レビュー] Moving Object Detection in Video Using Saliency Map and Subspace Learning

Yanwei Pang, Ye Li+2 more|arXiv (Cornell University)|Sep 30, 2015

Video Surveillance and Tracking Methods参考文献 28被引用数 3

ひとこと要約

本稿では、明著性マップを段階的部分空間学習フレームワークに統合することで誤検出および見逃し検出を低減する、新しい移動対象検出手法MODSMを提案する。スパarsity、低ランク構造、連結性、明著性を同時に最適化することで、背景が複雑で模様のない領域や意味のない動きを伴う動画においても、前景検出を向上させ、ベンチマーク動画シーケンスでSOTAのF1スコア0.7711を達成した。

ABSTRACT

Moving object detection is a key to intelligent video analysis. On the one hand, what moves is not only interesting objects but also noise and cluttered background. On the other hand, moving objects without rich texture are prone not to be detected. So there are undesirable false alarms and missed alarms in many algorithms of moving object detection. To reduce the false alarms and missed alarms, in this paper, we propose to incorporate a saliency map into an incremental subspace analysis framework where the saliency map makes estimated background has less chance than foreground (i.e., moving objects) to contain salient objects. The proposed objective function systematically takes account into the properties of sparsity, low-rank, connectivity, and saliency. An alternative minimization algorithm is proposed to seek the optimal solutions. Experimental results on the Perception Test Images Sequences demonstrate that the proposed method is effective in reducing false alarms and missed alarms.

研究の動機と目的

• ノイズ、ごみ、模様のない領域による従来の移動対象検出手法の高誤検出率および見逃し検出率の問題に対処すること。
• 意味のある動きを示す前景を背景の変動から強調することで、明著性マップを用いて前景検出をガイドすること。
• スパarsity、低ランク、連結性、明著性を1つの最適化フレームワークに統合し、頑健な動画背景モデリングを実現すること。
• バッチ手法よりも精度と動的シーンへの適応性に優れる段階的アルゴリズムを開発すること。
• 明著性マップが不完全であっても、その影響を軽減するように、本手法がロバストであるようにすること。

提案手法

• 明著性マップ、低ランク背景行列、スパース前景、連結性制約を統合した統一された目的関数を定式化する。
• 非凸最適化問題を反復的に解くために、増分乗数法（ADMM）に基づくアルゴリズムを用いる。
• 明著性マップを空間的事前知識として用い、揺れる木の葉や波紋のような意味のない動き領域での誤検出を抑制する。
• 前景はスパース行列としてモデル化され、背景は時間的に段階的に学習された部分空間内での低ランク行列として表現される。
• 空間的整合性を保つために、連結性制約を適用する。
• 本手法は段階的であり、完全な再計算なしに動画シーケンスのリアルタイム処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 部分空間学習に明著性マップを統合することで、揺れる木の葉や波紋のような意味のない動きによる誤検出を低減できるか？
• RQ2 従来手法がしばしば見逃す模様のない移動領域の検出を、本手法が改善できるか？
• RQ3 低ランクおよびスパース行列分解と明著性を融合させることで、単独の部分空間法や明著性法と比較して検出性能が向上するか？
• RQ4 明著性マップの品質が最終的な検出精度にどの程度影響を与えるか？
• RQ5 段階的最適化フレームワークは、バッチ手法に比べて移動対象検出でより優れた性能を発揮できるか？

主な発見

• 提案手法のMODSMは、9つの動画シーケンスで平均F1スコア0.7711を達成し、RFDSA（0.7489）およびDECOLORを上回った。
• 明著性マップの性能が低下したLobby動画を除いた場合、MODSMのF1スコアは0.7955に向上し、明著性品質に敏感であることが示された。
• Fountain動画では、誤検出率0.05における真正陽性率が0.99に達し、RFDSA（0.935）を上回った。
• 視覚的結果から、MODSMは正解に近く、RFDSAおよびDECOLORは誤検出（例：エスカレーター、木の葉を前景として分類）や見逃し検出を起こしていることが明らかになった。
• 動的背景を伴うシーンにおいて誤検出を効果的に抑制し、明著性マップが不完全であっても良好な性能を発揮した。
• 空間的事前知識としての明著性の統合により、模様が少ない移動対象の検出が著しく向上し、見逃し検出が減少した。