[논문 리뷰] Approximated Robust Principal Component Analysis for Improved General Scene Background Subtraction

Salehe Erfanian Ebadi, Valia Guerra-Ones외 1명|arXiv (Cornell University)|2016. 03. 18.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 9

한 줄 요약

이 논문은 카메라 운동이 있는 영상 시퀀스에서 효율적이고 정확한 배경 제거를 위한 SVD를 사용하지 않고 블록 희소성 구조를 고려한 강건한 주성분 분석(RPCA) 방법을 제안한다. 전경을 블록 희소성으로 모델링하고 전역 운동 추정을 통합함으로써, 기존 최고 수준의 RPCA 방법 대비 계산 속도를 2배 이상 높이고 가시화 잔상(ghosting)을 감소시켜 분할 및 정렬 성능을 향상시킨다.

ABSTRACT

The research reported in this paper addresses the fundamental task of separation of locally moving or deforming image areas from a static or globally moving background. It builds on the latest developments in the field of robust principal component analysis, specifically, the recently reported practical solutions for the long-standing problem of recovering the low-rank and sparse parts of a large matrix made up of the sum of these two components. This article addresses a few critical issues including: embedding global motion parameters in the matrix decomposition model, i.e., estimation of global motion parameters simultaneously with the foreground/background separation task, considering matrix block-sparsity rather than generic matrix sparsity as natural feature in video processing applications, attenuating background ghosting effects when foreground is subtracted, and more critically providing an extremely efficient algorithm to solve the low-rank/sparse matrix decomposition task. The first aspect is important for background/foreground separation in generic video sequences where the background usually obeys global displacements originated by the camera motion in the capturing process. The second aspect exploits the fact that in video processing applications the sparse matrix has a very particular structure, where the non-zero matrix entries are not randomly distributed but they build small blocks within the sparse matrix. The next feature of the proposed approach addresses removal of ghosting effects originated from foreground silhouettes and the lack of information in the occluded background regions of the image. Finally, the proposed model also tackles algorithmic complexity by introducing an extremely efficient "SVD-free" technique that can be applied in most background/foreground separation tasks for conventional video processing.

연구 동기 및 목표

• 기존 RPCA가 카메라 운동과 전경 잔상 문제를 다루는 데에 한계를 보이는 점을 해결하기 위해.
• 영상 데이터의 천연적인 블록 희소성 구조를 활용해 더 정확한 전경 탐지 성능을 확보하기 위해.
• 실시간 영상 처리에 적합한 높은 정확도를 유지하면서도 계산 비용을 줄인 SVD를 사용하지 않는 알고리즘을 개발하기 위해.
• 통합 최적화 프레임워크 내에서 전역 운동 파rameter 추정과 전경/배경 분리 작업을 동시에 수행하기 위해.
• 일반적인 장면 영상 시퀀스에서 조명 변화, 가림, 동적 배경에 대한 강건성을 향상시키기 위해.

제안 방법

• 영상 프레임 간의 공간적 연속성을 활용해 배경를 저질서수로, 전경을 블록 희소성으로 모델링하는 새로운 τ-분해 기법을 도입한다.
• 전역 운동 파ram터를 직접 행렬 분해 모델에 통합하여 운동 추정과 전경/배경 분리 작업을 동시에 수행할 수 있도록 한다.
• 계산 비용을 크게 줄이기 위해 교대 방향 승수법(ADMM)을 활용한 SVD를 사용하지 않는 최적화 전략을 적용한다.
• 카메라 이동이 있는 프레임 간에 시간적으로 일관된 배경을 복원하기 위해 변환 정렬을 통한 운동 보정을 수행한다.
• 얼굴 정렬 응용 분야에서 그림자, 반사광, 노이즈를 분리하기 위해 저질서수 + 희소성 + 전역 손상(L+S+G) 분해를 적용한다.
• 지역적으로 일관된 전경 영역을 더 잘 포착하기 위해 랜덤한 희소성 대신 블록 희소성 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 복잡한 운동과 조도 변화가 있는 영상 시퀀스에서 블록 희소성 모델링이 전경 탐지 정확도를 향상시킬 수 있는가?
• RQ2 전역 운동 파ram터는 RPCA 프레임워크에 어떻게 효과적으로 통합되어 운동 카메라 상황에서의 배경 모델링 성능을 향상시킬 수 있는가?
• RQ3 SVD를 사용하지 않는 최적화 전략은 분할 정확도를 희생시키지 않고 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 제안된 방법은 가림이나 전경 실루엣으로 인한 배경 잔상 문제를 효과적으로 억제할 수 있는가?
• RQ5 물결치는 물이나 움직이는 나뭇잎이 있는 실제 영상 시퀀스에서 이 방법은 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 RPCA-LBD와 GoDec보다 계산 시간을 2배 이상 단축시키면서도 분할 정확도를 유지하거나 향상시킨다.
• 블록 희소성 모델은 특히 가림이나 느린 움직임을 보이는 전경이 있는 시퀀스에서 잔상 아티팩트를 크게 감소시킨다.
• τ-분해를 통한 운동 보정 배경 복원은 카메라 운동 상황에서도 일관되고 저질서수 배경을 생성한다.
• 물결치는 물과 같은 복잡한 동적 배경이 있는 시나리오에서 GoDec와 RPCA-LBD보다 전경 분할 품질이 뛰어나다.
• 얼굴 정렬 작업에서는 저질서수 성분이 깔끔하고 표준화된 얼굴 표현을 잘 포착하고, 희소 성분이 그림자와 반사광을 효과적으로 분리한다.
• ROC 곡선 분석을 통해 다양한 임계값에서 뛰어난 탐지 성능을 확인하였으며, 이는 강건성과 일반화 능력을 입증한다.