[논문 리뷰] Smooth Robust Tensor Completion for Background/Foreground Separation with Missing Pixels: Novel Algorithm with Convergence Guarantee

Bo Shen, Weijun Xie외 1명|arXiv (Cornell University)|2022. 03. 29.

Image Enhancement Techniques인용 수 9

한 줄 요약

이 논문은 낮은 질서와 희소 텐서 구조를 활용하여 영상 시퀀스에서 누락된 픽셀을 동시에 복구하고 배경과 전경을 분리하는 스무스 로버스트 텐서 완성(SRTC) 모델을 제안한다. 전역 수렴 보장을 갖춘 텐서 프록시مال 교대 최소화(tenPAM) 알고리즘을 사용하여, 실세계 영상에서 누락된 데이터를 처리하는 데 있어 최신 기법들을 능가한다.

ABSTRACT

The objective of this study is to address the problem of background/foreground separation with missing pixels by combining the video acquisition, video recovery, background/foreground separation into a single framework. To achieve this, a smooth robust tensor completion (SRTC) model is proposed to recover the data and decompose it into the static background and smooth foreground, respectively. Specifically, the static background is modeled by the low-rank tucker decomposition and the smooth foreground (moving objects) is modeled by the spatiotemporal continuity, which is enforced by the total variation regularization. An efficient algorithm based on tensor proximal alternating minimization (tenPAM) is implemented to solve the proposed model with global convergence guarantee under very mild conditions. Extensive experiments on real data demonstrate that the proposed method significantly outperforms the state-of-the-art approaches for background/foreground separation with missing pixels.

연구 동기 및 목표

• 실세계 영상 촬영에서 흔한 누락된 픽셀이 있는 영상 시퀀스에서 배경/전경 분리 문제를 해결한다.
• 기존의 RPCA와 RTPCA는 분해 중에 누락된 데이터를 처리할 수 없음으로서의 한계를 극복한다.
• 영상 복구와 배경/전경 분리를 하나의 최적화 프레임워크로 통합하여 정확성과 강인성을 향상시킨다.
• 약한 조건 하에서도 해법 알고리즘의 전역 수렴을 보장하여 신뢰할 수 있는 성능을 확보한다.
• 공간-시간 연속성과 낮은 질서 구조를 활용하여 정적 배경과 부드러운 움직임을 보이는 전경을 효과적으로 모델링한다.

제안 방법

• 누락된 픽셀을 동시에 복구하고, 텐서를 낮은 질서(배경) 및 희소(전경) 성분으로 분해하는 스무스 로버스트 텐서 완성(SRTC) 모델을 수립한다.
• 전경 성분의 공간-시간 부드러움을 강제하기 위해 총 변동(TV) 정규화를 통합한다.
• 배경 성분의 낮은 질서 구조를 촉진하기 위해 텐서 핵노름(TNN)을 사용한다.
• 비볼록 SRTC 모델을 해결하기 위한 효율적인 최적화 알고리즘인 텐서 프록시멀 교대 최소화(tenPAM) 알고리즘을 개발한다.
• 비부드럽고 비볼록인 목적 함수의 항들을 다루기 위해 프록시멀 업데이트를 포함한 교대 최소화를 적용한다.
• 약한 조건 하에서도 tenPAM 알고리즘의 전역 수렴을 입증하여 안정적이고 신뢰할 수 있는 최적화를 보장한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크를 통해 영상 시퀀스에서 누락된 픽셀을 동시에 복구하고 배경과 전경을 분리할 수 있는가?
• RQ2 공간-시간 연속성과 낮은 질서 구조는 어떻게 효과적으로 모델링되어야 누락된 데이터에 대한 강인성을 향상시킬 수 있는가?
• RQ3 약한 가정 하에 비볼록 SRTC 모델에 대해 제안된 tenPAM 알고리즘이 전역 수렴을 달성하는가?
• RQ4 실세계 영상 데이터에서 누락된 픽셀이 존재할 경우 SRTC 모델은 최신 기법들에 비해 정확성과 강인성 측면에서 어떻게 비교되는가?
• RQ5 전경 성분에 부드러움 정규화를 통합함으로써 분리 성능이 얼마나 향상되는가?

주요 결과

• 제안된 SRTC 모델은 누락된 픽셀이 있는 실세계 영상 데이터셋에서 최신 기법들을 뛰어넘는 배경/전경 분리 성능을 보였다.
• tenPAM 알고리즘은 약한 조건 하에서도 전역 수렴을 달성하여 신뢰할 수 있고 안정적인 최적화를 보장한다.
• 총 변동 정규화의 통합은 전경의 부드러움을 향상시키고 분리 정확도를 향상시켰다.
• 이 방법은 동시에 누락된 픽셀을 효과적으로 복구하면서도 영상 시퀀스를 배경과 전경 성분으로 분해한다.
• 실험 결과는 복원 정확도와 전경 탐지 품질 측면에서 뛰어난 성능을 입증한다.
• 실세계 영상 데이터에서 누락된 픽셀을 효과적으로 처리하여 강인성과 실용적 적용 가능성을 입증했다.