[論文レビュー] Unsupervised Deep Context Prediction for Background Foreground Separation

M. Sultana, Arif Mahmood+2 more|arXiv (Cornell University)|May 21, 2018

Video Surveillance and Tracking Methods参考文献 38被引用数 3

ひとこと要約

本稿では、文脈予測と画像補填を用いた、教師なしのGANベースの背景推定および前景セグメンテーション手法であるDeep Context Prediction (DCP)を提案する。動きのある物体を特定するための密なオプティカルフローを活用し、それらを除去することで欠損領域を生成し、CNNエンコーダデコーダを用いて文脈を予測して穴を埋める。DCPは、SBM.netおよびCDnet2014データセットにおいて、悪天候や赤外画像など困難な条件下でも最先端の性能を達成した。

ABSTRACT

In many advanced video based applications background modeling is a pre-processing step to eliminate redundant data, for instance in tracking or video surveillance applications. Over the past years background subtraction is usually based on low level or hand-crafted features such as raw color components, gradients, or local binary patterns. The background subtraction algorithms performance suffer in the presence of various challenges such as dynamic backgrounds, photometric variations, camera jitters, and shadows. To handle these challenges for the purpose of accurate background modeling we propose a unified framework based on the algorithm of image inpainting. It is an unsupervised visual feature learning hybrid Generative Adversarial algorithm based on context prediction. We have also presented the solution of random region inpainting by the fusion of center region inpaiting and random region inpainting with the help of poisson blending technique. Furthermore we also evaluated foreground object detection with the fusion of our proposed method and morphological operations. The comparison of our proposed method with 12 state-of-the-art methods shows its stability in the application of background estimation and foreground detection.

研究の動機と目的

• 手作業で設計された特徴量に依存する伝統的な背景モデリング手法の限界を解消し、動的な背景、照明の変化、カメラのジターバイアスに伴う性能劣化を軽減すること。
• 監視と追跡応用で一般的な動的背景、影、光度変化といった複雑な状況における性能劣化を克服すること。
• アノテーション付き学習データを必要としない教師なしの深層学習フレームワークを構築し、正確な背景初期化を可能にすること。
• 文脈予測と意味的補填、ポissonブレンドを統合し、任意形状の欠損領域の補填を可能とするとともに、テクスチャの現実性を向上させること。
• 悪天候や赤外画像など、既存手法が失敗するような多様な動画カテゴリに対しても、強力な性能を発揮すること。

提案手法

• 密なオプティカルフローを用いて時間的運動情報を抽出し、高速に動く前景物体を特定するための動きマスクを生成する。
• 検出された前景物体を動画フレームから除去することで、補填用の欠損画像領域を生成する。
• グローバルな文脈とローカルなテクスチャ制約を用いて、CNNベースのエンコーダデコーダネットワーク（オートエナコーダーを模倣）を訓練し、欠損画像コンテンツを予測する。
• 生成対抗ネットワーク（GAN）のハイブリッドフレームワークを採用し、生成された領域の構造的一致性と現実性を向上させるために、敵対的損失と再構成損失を併用する。
• 中心領域の補填を実行した後、ポissonブレンドを適用することで、不規則な形状の欠損領域に対しても対応可能とする。
• GAN処理後に意味的補填ネットワークを統合し、テクスチャの詳細を精緻にし、再構築された背景の視覚的品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 文脈予測とGANに基づく教師なしの深層学習アプローチが、困難な条件下でも、従来の手作業特徴量に依存する手法を上回る性能を発揮できるか？
• RQ2 提案されたDCPフレームワークは、動的背景、カメラジターバイアス、光度変化といった複雑な状況に対してどれほど効果的か？
• RQ3 中心領域補填とポissonブレンドの統合が、任意形状の欠損領域補填の品質をどの程度向上させるか？
• RQ4 DCP手法は、SBM.netやCDnet2014といったベンチマークデータセットにおいて、特に悪天候や赤外画像のような困難なカテゴリでどの程度の性能を示すか？
• RQ5 提案手法は、シーンの複雑さや背景の一様性に差がある多様な動画カテゴリに一般化可能か？

主な発見

• DCPはSBM.netデータセットにおいて、6つの既存手法を上回り、『間欠的物体運動』や『ジターモード』を含む全カテゴリで平均グレーレベル誤差（AGE）が最低となった。
• CDnet2014の『悪天候』カテゴリにおいて、DCPは最高の性能を達成した。視覚的結果からは、雪嵐や豪雪の中でも正確な背景推定がなされていることが確認された。
• 『赤外』カテゴリにおいて、DCPは優れた耐障害性を示し、他の手法が失敗する熱放射やカモフラージュ効果といった赤外アーチファクトに対しても、効果的に対処できた。
• CDnet2014における前景セグメンテーションにおいても、平均的に6つの既存アルゴリズムを上回る性能を発揮した。
• 大きな不規則形状の前景オブジェクトや複雑な背景構造の状況では、補填精度が低下し、特に『間欠的運動』カテゴリでAGEスコアが最も高くなった。
• 中心領域補填後にポissonブレンドを適用することで、非長方形形状の欠損領域に対しても再構築領域の視覚的整合性が顕著に向上した。