[論文レビュー] Background Subtraction with Real-time Semantic Segmentation

Dongdong Zeng, Xiang Chen+3 more|arXiv (Cornell University)|Nov 25, 2018

Video Surveillance and Tracking Methods参考文献 52被引用数 5

ひとこと要約

本稿では、従来のバックグラウンドモデリングとリアルタイムのセマンティックセグメンテーションを組み合わせることで、前景検出の精度を向上させるリアルタイム背景差分フレームワーク（RTSS）を提案する。並列に動作するバックグラウンドセグメンテーション（B）とセマンティックセグメンテーション（S）の出力を統合することで、CDnet 2014で非教師あり手法として最先端の性能を達成するとともに、リアルタイム処理（38 ms/フレーム）を維持しており、一部の教師ありディープラーニング手法を上回っている。

ABSTRACT

Accurate and fast foreground object extraction is very important for object tracking and recognition in video surveillance. Although many background subtraction (BGS) methods have been proposed in the recent past, it is still regarded as a tough problem due to the variety of challenging situations that occur in real-world scenarios. In this paper, we explore this problem from a new perspective and propose a novel background subtraction framework with real-time semantic segmentation (RTSS). Our proposed framework consists of two components, a traditional BGS segmenter $\mathcal{B}$ and a real-time semantic segmenter $\mathcal{S}$. The BGS segmenter $\mathcal{B}$ aims to construct background models and segments foreground objects. The real-time semantic segmenter $\mathcal{S}$ is used to refine the foreground segmentation outputs as feedbacks for improving the model updating accuracy. $\mathcal{B}$ and $\mathcal{S}$ work in parallel on two threads. For each input frame $I_t$, the BGS segmenter $\mathcal{B}$ computes a preliminary foreground/background (FG/BG) mask $B_t$. At the same time, the real-time semantic segmenter $\mathcal{S}$ extracts the object-level semantics ${S}_t$. Then, some specific rules are applied on ${B}_t$ and ${S}_t$ to generate the final detection ${D}_t$. Finally, the refined FG/BG mask ${D}_t$ is fed back to update the background model. Comprehensive experiments evaluated on the CDnet 2014 dataset demonstrate that our proposed method achieves state-of-the-art performance among all unsupervised background subtraction methods while operating at real-time, and even performs better than some deep learning based supervised algorithms. In addition, our proposed framework is very flexible and has the potential for generalization.

研究の動機と目的

• 複雑な動画監視シナリオにおける正確かつリアルタイムの前景オブジェクト検出という、長年の課題に取り組むこと。
• 照明の変化、動的背景、影への感受性といった、従来のバックグラウンド差分法の限界を克服すること。
• リアルタイムのセマンティックセグメンテーションをフィードバックメカニズムとして統合し、バックグラウンドモデルの更新を最適化し、分類精度を向上させること。
• 将来のバックグラウンドモデリングおよびセマンティックセグメンテーションの進歩に対応できる柔軟でモジュラーなフレームワークを構築すること。

提案手法

• フレームワークは2つの並列コンponentsで構成される：初期の前景/背景マスク生成のためのバックグラウンドセグメンテーション（B）と、オブジェクトレベルのセマンティック理解のためのリアルタイムセマンティックセグメンテーション（S）。
• 各フレームに対して、Bは一時的な前景/背景マスク（B_t）を生成する一方、Sは各画素のセマンティックラベル（S_t）を抽出する。
• ルールベースの統合戦略により、B_tとS_tが統合され、洗練された前景検出マスク（D_t）が生成される。このD_tは、バックグラウンドモデルの更新に使用される。
• セマンティックセグメンテーションはフィードバックメカニズムとして機能し、誤検出のフィルタリングとモデルのずれの低減によって、モデルの精度を向上させる。
• 本フレームワークは、さまざまなBGSアルゴリズム（例：SuBSENSE、GMM）とセマンティックモデル（例：ICNet、PSPNet）をサポートしており、モularityと適応性を実現している。
• リアルタイム性能を最適化しており、Titan Xp GPU上でICNetを用いると1フレームあたり約38 ms、PSPNetを用いると約51 msの処理時間を達成している。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムのセマンティックセグメンテーションは、複雑な動画シナリオにおける非教師ありバックグラウンド差分の精度と耐性を向上させることができるか？
• RQ2 どのようにしてセマンティック情報と従来のバックグラウンドモデリングを効果的に統合し、影、動的背景、照明変化に起因する誤検出を低減できるか？
• RQ3 BGSとセマンティックセグメンテーションを統合したハイブリッドフレームワークは、リアルタイム性能を維持しながら、既存の最先端の非教師あり手法を上回ることができるか？
• RQ4 セマンティックフィードバックは、バックグラウンドモデルの維持にどの程度寄与し、モデルのずれを低減するか？

主な発見

• RTSSはCDnet 2014ベンチマークにおいて、非教師ありバックグラウンド差分手法として最先端の性能を達成しており、多くのディープラーニングベースの教師あり手法を上回っている。
• 動的背景（例：揺れる木、波打つ水）やカメラのジャイロ、断続的な動き、強い影、パン・チルト・ズーム効果を含む困難なシーケンスにおいても、優れた耐性を示している。
• ICNetを用いる場合、1フレームあたり約38 msで処理が可能であり、標準GPU上でリアルタイム性能を達成している。
• PSPNetを用いる場合、処理時間は約51 ms/フレーム（N=3）であり、異なるセグメンテーション精度と速度のトレードオフに応じたスケーラビリティが確認されている。
• 定性的な結果では、ノイズや複雑な干渉が強いシーケンス（例：ブロアードやソファのシーケンス）においても、完全で正確な前景抽出が可能である。
• フレームワークのモジュラー設計により、将来のより高速で正確なBGSおよびセマンティックセグメンテーションモデルのシームレスな統合が可能である。