[論文レビュー] Approximated Robust Principal Component Analysis for Improved General Scene Background Subtraction

Salehe Erfanian Ebadi, Valia Guerra-Ones+1 more|arXiv (Cornell University)|Mar 18, 2016

Sparse and Compressive Sensing Techniques参考文献 4被引用数 9

ひとこと要約

本稿では、カメラの動きを伴う動画シーケンスにおける効率的で高精度な背景差分抽出を実現する、SVDフリーでブロックスパースなロバスト主成分分析（RPCA）手法を提案する。前景をブロックスパースにモデル化し、グローバルな動き推定を統合することで、ゴーストアーティファクトを低減し、最先端のRPCA手法と比較して計算を2倍以上高速化し、優れたセグメンテーションおよびアライメント性能を達成する。

ABSTRACT

The research reported in this paper addresses the fundamental task of separation of locally moving or deforming image areas from a static or globally moving background. It builds on the latest developments in the field of robust principal component analysis, specifically, the recently reported practical solutions for the long-standing problem of recovering the low-rank and sparse parts of a large matrix made up of the sum of these two components. This article addresses a few critical issues including: embedding global motion parameters in the matrix decomposition model, i.e., estimation of global motion parameters simultaneously with the foreground/background separation task, considering matrix block-sparsity rather than generic matrix sparsity as natural feature in video processing applications, attenuating background ghosting effects when foreground is subtracted, and more critically providing an extremely efficient algorithm to solve the low-rank/sparse matrix decomposition task. The first aspect is important for background/foreground separation in generic video sequences where the background usually obeys global displacements originated by the camera motion in the capturing process. The second aspect exploits the fact that in video processing applications the sparse matrix has a very particular structure, where the non-zero matrix entries are not randomly distributed but they build small blocks within the sparse matrix. The next feature of the proposed approach addresses removal of ghosting effects originated from foreground silhouettes and the lack of information in the occluded background regions of the image. Finally, the proposed model also tackles algorithmic complexity by introducing an extremely efficient "SVD-free" technique that can be applied in most background/foreground separation tasks for conventional video processing.

研究の動機と目的

• 従来のRPCAがカメラの動きや前影ゴーストを扱う際に抱える制限を解消すること。
• 動画データに内在する自然なブロックスパース構造を活用して、より正確な前影検出を実現すること。
• リアルタイム動画処理に適した、高精度を維持しつつ計算コストが低いSVDフリーのアルゴリズムを開発すること。
• グローバルな動きパラメータの推定と、前後景分離を統合的な最適化フレームワーク内で同時に実行すること。
• 一般のシーン動画シーケンスにおける照明変化、オクルージョン、動的背景に対して、より高いロバスト性を向上させること。

提案手法

• 動画フレーム内の空間的整合性を活かし、背景を低ランク、前影をブロックスパースにモデル化する新しいτ分解技術を導入する。
• グローバルな動きパラメータを行列分解モデルに直接統合し、動きと前後景分離を同時に推定可能にする。
• 計算コストを著しく削減するため、交替方向乗数法（ADMM）を用いたSVDフリーの最適化戦略を採用する。
• 変換アライメントによる動き補償を用いて、カメラ移動が生じるフレーム間で時間的に一貫性のある背景を再構築する。
• 顔アライメント応用において、影、スペキュラー性、ノイズを分離するため、低ランク＋スパース＋グローバルコラプス（L+S+G）分解を適用する。
• 局所的で整合性のある前影領域をランダムなスパースネスではなく、より正確に捉えるためにブロックスパース正則化を採用する。

実験結果

リサーチクエスチョン

• RQ1 複雑な動きや照明変化を伴う動画シーケンスにおいて、ブロックスパースモデリングが前影検出の精度を向上させるか。
• RQ2 グローバルな動きパラメータをどのようにRPCAフレームワークに効果的に統合できるか、特にカメラ移動が生じる状況での背景モデリングの向上に寄与するか。
• RQ3 SVDフリーの最適化戦略は、セグメンテーション精度を損なわずに計算コストをどの程度低減できるか。
• RQ4 本手法は、オクルージョンや前影シルエットによって生じる背景ゴーストを効果的に抑制できるか。
• RQ5 リップルする水面や動く葉などの動的背景を有する実世界の動画シーケンスにおいて、本手法はどの程度の性能を示すか。

主な発見

• 本手法は、RPCA-LBDおよびGoDecと比較して、計算時間において2倍以上の高速化を達成しながら、セグメンテーション精度を維持または向上させた。
• ブロックスパースモデルは、特にオクルージョンやゆっくり動く前影が存在するシーケンスにおいて、ゴーストアーティファクトを顕著に低減した。
• τ分解を用いた動き補償による背景再構築により、カメラの動きが生じても一貫性があり、低ランクの背景が得られた。
• 特に水面のリップルのような動的背景を有する複雑なシーンにおいて、GoDecおよびRPCA-LBDを上回る前影セグメンテーション品質を達成した。
• 顔アライメントタスクでは、低ランク成分がクリアで標準的な顔の表現を捉え、スパース成分が影やスペキュラー性を効果的に分離した。
• ROC曲線解析により、さまざまなしきい値において優れた検出性能が確認され、ロバスト性と一般化性能が裏付けられた。