[論文レビュー] On the Role and the Importance of Features for Background Modeling and Foreground Detection

Thierry Bouwmans, Caroline Silva+4 more|arXiv (Cornell University)|Nov 28, 2016

Video Surveillance and Tracking Methods被引用数 11

ひとこと要約

本稿は、背景モデル化とフォアグラウンド検出における特徴量の包括的サーベイと体系的分析を提供し、照明の変化、動的背景、オクルージョンなどの課題に対する耐障害性の向上に果たす役割を評価している。色、テクスチャ（特にLBP変種）、運動、ステレオ、深度特徴量をベンチマークし、区間値をとるファジィ・チョケット積分を用いた照度不変色特徴、空間時間的テクスチャ特徴、深度特徴の統合が、最も耐障害性の高い性能を達成することを結論づけている。

ABSTRACT

Background modeling has emerged as a popular foreground detection technique for various applications in video surveillance. Background modeling methods have become increasing efficient in robustly modeling the background and hence detecting moving objects in any visual scene. Although several background subtraction and foreground detection have been proposed recently, no traditional algorithm today still seem to be able to simultaneously address all the key challenges of illumination variation, dynamic camera motion, cluttered background and occlusion. This limitation can be attributed to the lack of systematic investigation concerning the role and importance of features within background modeling and foreground detection. With the availability of a rather large set of invariant features, the challenge is in determining the best combination of features that would improve accuracy and robustness in detection. The purpose of this study is to initiate a rigorous and comprehensive survey of features used within background modeling and foreground detection. Further, this paper presents a systematic experimental and statistical analysis of techniques that provide valuable insight on the trends in background modeling and use it to draw meaningful recommendations for practitioners. In this paper, a preliminary review of the key characteristics of features based on the types and sizes is provided in addition to investigating their intrinsic spectral, spatial and temporal properties. Furthermore, improvements using statistical and fuzzy tools are examined and techniques based on multiple features are benchmarked against reliability and selection criterion. Finally, a description of the different resources available such as datasets and codes is provided.

研究の動機と目的

• 過去10年間における背景モデル化およびフォアグラウンド検出に用いられる特徴量について、厳密かつ包括的なサーベイを実施すること。
• 特徴量の内在的スペクトル的・空間的・時間的性質と、それらが検出の耐障害性に与える影響を分析すること。
• 複数特徴量統合手法をベンチマーク化し、困難な動画シーンにおける最適な組み合わせを同定すること。
• 統計的およびファジィ分析に基づいた特徴量選択および統合に関する実用的提言を提供すること。
• 再現可能性およびコミュニティ利用を目的として、オープンソースリソース、データセット、コードを収集・共有すること。

提案手法

• 600篇を超える論文の体系的レビューにより、特徴量のタイプ、サイズ、ドメイン、数学的コンセプトで分類する。
• スペクトル的特徴（例：色のためのYCrCb）、空間的特徴（例：エッジ、LBP変種によるテクスチャ）、時間的特徴（例：運動、ステレオ、深度）の分析。
• 特徴量の依存関係と統合をモデル化するため、統計的およびファジィツール（特にチョケット積分および区間値をとるファジィ積分）の適用。
• 標準データセットおよびグランド・トゥルースアノテーションを用いた複数特徴量統合方式のベンチマーク。
• OpenCV互換のLBPライブラリ（11種類のLBP変種を備える）の実装および公開。
• IWOC-SVMのような高度なスキームを用いた特徴量の信頼性および選択の評価、およびAdaBoostのような基本的手法との比較。

実験結果

リサーチクエスチョン

• RQ1 照明の変化や動的背景に対して、どの特徴量タイプ（色、テクスチャ、運動、深度、ステレオ）がフォアグラウンド検出において最も耐障害性が高いか？
• RQ2 局所二値パターン（LBP）の異なる変種は、照明条件や背景状態の変化に対してどのように性能を発揮するか？
• RQ3 複数の特徴量を最適に統合する方法は何か？ これにより、検出の正確性と耐障害性がどのように向上するか？
• RQ4 特徴量間の依存関係を考慮した特徴量選択および統合手法は、どのように設計できるか？
• RQ5 実世界の動画監視アプリケーションにおいて、最も信頼性が高く効果的な特徴量の組み合わせは何か？

主な発見

• 背景モデル化における色特徴量として、YCrCb色空間が最も適していることが判明した。
• LBP変種の中で、XCS-LBPが照明の変化や動的背景に対して優れた性能を示した。
• 区間値をとるファジィ・チョケット積分を用いた特徴量統合が、特徴量の依存関係を効果的にモデル化することで、他の統合手法を上回った。
• 照度不変色特徴量と空間時間的テクスチャ、深度特徴量の統合が、最も耐障害性の高い検出性能を達成した。
• 特徴量選択は検出の正確性を顕著に向上させ、IWOC-SVMのような高度な手法はAdaBoostのような基本的手法を上回った。
• 非LBPテクスチャ特徴量の包括的評価および統合・選択手法の体系的比較は、今後の課題として残っている。