[論文レビュー] Smooth Robust Tensor Completion for Background/Foreground Separation with Missing Pixels: Novel Algorithm with Convergence Guarantee

Bo Shen, Weijun Xie+1 more|arXiv (Cornell University)|Mar 29, 2022

Image Enhancement Techniques被引用数 9

ひとこと要約

本稿では、低ランクおよびスパースなテンソル構造を活用して、欠損画素の回復と動画シーケンスにおける背景と前景の分離を同時に実行する、スムーズなロバストテンソル補完（SRTC）モデルを提案する。グローバル収束保証を有するテンソルプロキシマル交替最小化（tenPAM）アルゴリズムを用いることで、欠損データを含む実世界の動画処理において、最先端の手法を上回る性能を発揮する。

ABSTRACT

The objective of this study is to address the problem of background/foreground separation with missing pixels by combining the video acquisition, video recovery, background/foreground separation into a single framework. To achieve this, a smooth robust tensor completion (SRTC) model is proposed to recover the data and decompose it into the static background and smooth foreground, respectively. Specifically, the static background is modeled by the low-rank tucker decomposition and the smooth foreground (moving objects) is modeled by the spatiotemporal continuity, which is enforced by the total variation regularization. An efficient algorithm based on tensor proximal alternating minimization (tenPAM) is implemented to solve the proposed model with global convergence guarantee under very mild conditions. Extensive experiments on real data demonstrate that the proposed method significantly outperforms the state-of-the-art approaches for background/foreground separation with missing pixels.

研究の動機と目的

• 実世界の動画取得において一般的な欠損画素を伴う動画シーケンスにおける背景／前景分離の課題に対処すること。
• 従来のRPCAやRTPCAでは、分解中に欠損データを処理できないという制限を克服すること。
• 動画回復と背景／前景分離を統合的な最適化フレームワークに統合することで、ロバスト性と精度を向上させること。
• 解法アルゴリズムのグローバル収束を、弱い条件下でも保証することで、信頼性の高い性能を確保すること。
• 空間的・時間的連続性と低ランク構造を活用して、静的背景と滑らかな動的前景を効果的にモデル化すること。

提案手法

• 欠損画素の同時回復と、低ランク（背景）およびスパース（前景）成分へのテンソル分解を可能にする、スムーズなロバストテンソル補完（SRTC）モデルを構築する。
• 前景成分の空間的・時間的滑らかさを強制するために、全 variation（TV）正則化を組み込む。
• 背景成分における低ランク構造を促進するために、テンソル核ノルム（TNN）を用いる。
• 非凸なSRTCモデルを効率的に解くために、テンソルプロキシマル交替最小化（tenPAM）に基づく効率的な最適化アルゴリズムを開発する。
• 目的関数内の非滑らかで非凸な項を処理するために、プロキシマル更新を用いた交替最小化を適用する。
• 弱い条件下でもtenPAMアルゴリズムのグローバル収束を確立し、安定的かつ信頼性の高い最適化を保証する。

実験結果

リサーチクエスチョン

• RQ1 統合的フレームワークにより、動画シーケンスにおける欠損画素の同時回復と背景／前景分離が可能か？
• RQ2 空間的・時間的連続性と低ランク構造を効果的にモデル化することで、欠損データに対してよりロバストな性能が得られるか？
• RQ3 弱い仮定のもとで、提案されたtenPAMアルゴリズムが非凸なSRTCモデルに対してグローバル収束を達成するか？
• RQ4 実世界の欠損画素を含む動画データにおいて、SRTCモデルは最先端の手法と比較して、精度とロバスト性の面で優れているか？
• RQ5 前景成分に滑らかさ正則化を組み込むことで、分離性能がどの程度向上するか？

主な発見

• 提案されたSRTCモデルは、欠損画素を伴う実世界の動画データセットにおいて、最先端の手法を著しく上回る背景／前景分離性能を示した。
• tenPAMアルゴリズムは弱い条件下でもグローバル収束を達成し、信頼性の高い安定した最適化を保証した。
• 全 variation 正則化の統合により、前景の滑らかさが向上し、分離精度が向上した。
• 本手法は、同時に欠損画素の回復と背景／前景成分への分解を効果的に行うことができた。
• 実験結果から、再構成精度および前景検出品質の両面で優れた性能が実証された。
• 本フレームワークは、欠損画素を含む実世界の動画データを効果的に処理でき、そのロバスト性と実用的応用性が検証された。