[論文レビュー] Masked-RPCA: Sparse and Low-rank Decomposition Under Overlaying Model and Application to Moving Object Detection

Amirhossein Khalilian-Gourtani, Shervin Minaee+1 more|arXiv (Cornell University)|Sep 17, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用数 7

ひとこと要約

本稿では、前景オブジェクトを背景に重ねる（加算ではなく）モデル化することで、後処理を経ずに直接マスクを回復できる、新しいスパースかつ低ランク分解フレームワークであるMasked-RPCAを提案する。線形化を施した交替方向汎化法と全変動正則化を用いることで、静的および動的背景において優れた前景検出を実現し、CDnetおよびI2RデータセットにおいてF-measureおよびPSNRの両面でRPCAおよびTVRPCAを上回る性能を達成する。

ABSTRACT

Foreground detection in a given video sequence is a pivotal step in many computer vision applications such as video surveillance system. Robust Principal Component Analysis (RPCA) performs low-rank and sparse decomposition and accomplishes such a task when the background is stationary and the foreground is dynamic and relatively small. A fundamental issue with RPCA is the assumption that the low-rank and sparse components are added at each element, whereas in reality, the moving foreground is overlaid on the background. We propose the representation via masked decomposition (i.e. an overlaying model) where each element either belongs to the low-rank or the sparse component, decided by a mask. We propose the Masked-RPCA algorithm to recover the mask and the low-rank components simultaneously, utilizing linearizing and alternating direction techniques. We further extend our formulation to be robust to dynamic changes in the background and enforce spatial connectivity in the foreground component. Our study shows significant improvement of the detected mask compared to post-processing on the sparse component obtained by other frameworks.

研究の動機と目的

• 従来のRPCAが低ランク成分とスパース成分を加算すると仮定するという根本的制限に対処するため、実世界の状況である前景オブジェクトが背景に重ねられていることをモデル化する。
• 重ね合わせモデルに従い、低ランク背景、スパース前景、およびそれらの空間的マスクを同時に回復するマスク付き分解フレームワークを開発する。
• 動的背景に対する頑健性を向上させるために、背景を低ランク成分とスパース成分に分解するモデルに拡張し、前景マスクに空間的連結性を強制する。
• スパース成分に対する後処理の必要性を排除するため、最適化プロセス中に前景マスクを直接回復する。
• 水の波や動く葉などの困難な条件下において、ベンチマークデータセットで最先端の性能を達成する前景検出を実現する。

提案手法

• X = (1−W)∘L + W∘S として問題を定式化する。ここで、Wは前景領域を示すバイナリマスク、Lは低ランク背景、Sはスパース前景を表す。
• 非凸最適化問題を解くために、線形化を施したADMMを用いたM-RPCAを提案し、重ね合わせモデルに従い、W、L、Sを同時に回復する。
• 前景オブジェクトの空間的連結性を強制するために、マスクWに全変動（TV）正則化を導入し、検出品質を向上させる。
• 動的背景をL + Eとしてモデル化することで、EM-RPCAに拡張し、Eは波や葉の揺れなどのランダムな摂動を表すスパース成分である。
• ADMMに線形化を適用し、妥当な仮定の下でKKT点への収束を保証する。
• SをWとXからS = W∘Xにより導出することで、Sを直接最適化する必要性を排除し、フレームワークを簡素化する。

実験結果

リサーチクエスチョン

• RQ1 加算モデルではなく重ね合わせモデルを仮定するマスク付き分解モデルは、標準RPCAと比較して前景検出の精度を向上させることができるか？
• RQ2 最適化プロセスで直接マスクを回復することで、スパース成分に対する後処理の必要性が排除され、検出の頑健性が向上するか？
• RQ3 水の波や動く葉などのランダムな摂動を伴う動的背景に対しても、このフレームワークを拡張して対応できるか？
• RQ4 全変動正則化により前景マスクの空間的連結性を強制することで、実世界の動画シーケンスにおける検出性能が向上するか？
• RQ5 EM-RPCAフレームワークは、TVRPCA や RPCA と比較して、ベンチマークデータセットにおけるF-measureおよびPSNRの観点で優れた性能を示すか？

主な発見

• WaterSurfaceシーケンスでは、EM-RPCAはF-measure 0.88を達成し、RPCA（0.41）を著しく上回り、TVRPCA（0.88）と同等の性能を示した。
• Fountainシーケンスでは、EM-RPCAはF-measure 0.81を達成し、RPCA（0.57）およびTVRPCA（0.80）を上回った。
• ノイズの強い合成データ（SNR = 7.7 dB）において、EM-RPCAはPedestrianシーケンスでPSNR 34.65、Highwayシーケンスで30.80を達成し、RPCA（34.10および31.14）を上回った。
• ROC曲線では、AUCにわずかな向上が見られ、回復されたマスクWのヒストグラムからは、前景検出に対する高い信頼性が示された。
• 可視化結果では、前景が停止した際の背景再構成において、EM-RPCAがRPCAおよびTVRPCAよりも優れた性能を示した。
• CampusおよびOverpassシーケンスでは、それぞれF-measure 0.77および0.78を達成し、RPCA（0.72および0.46）を上回った。