[논문 리뷰] Masked-RPCA: Sparse and Low-rank Decomposition Under Overlaying Model and Application to Moving Object Detection

Amirhossein Khalilian-Gourtani, Shervin Minaee외 1명|arXiv (Cornell University)|2019. 09. 17.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 배경 위에 오버래핑되는 방식으로 전경 객체를 모델링하는 새로운 희박성과 낮은 질서 분해 프레임워크인 Masked-RPCA를 제안한다. 이는 후처리 없이 직접 마스크를 복원할 수 있도록 하여, 정적 및 동적 배경에서 우수한 전경 감지 성능을 달성한다. 선형화와 총 변동성 정규화를 적용한 교대 방향 방법을 사용함으로써, CDnet 및 I2R 데이터셋에서 F-측정치와 PSNR 측면에서 RPCA 및 TVRPCA를 능가한다.

ABSTRACT

Foreground detection in a given video sequence is a pivotal step in many computer vision applications such as video surveillance system. Robust Principal Component Analysis (RPCA) performs low-rank and sparse decomposition and accomplishes such a task when the background is stationary and the foreground is dynamic and relatively small. A fundamental issue with RPCA is the assumption that the low-rank and sparse components are added at each element, whereas in reality, the moving foreground is overlaid on the background. We propose the representation via masked decomposition (i.e. an overlaying model) where each element either belongs to the low-rank or the sparse component, decided by a mask. We propose the Masked-RPCA algorithm to recover the mask and the low-rank components simultaneously, utilizing linearizing and alternating direction techniques. We further extend our formulation to be robust to dynamic changes in the background and enforce spatial connectivity in the foreground component. Our study shows significant improvement of the detected mask compared to post-processing on the sparse component obtained by other frameworks.

연구 동기 및 목표

• 기존 RPCA가 낮은 질서 성분과 희박성 성분을 덧셈으로 가정하는 기본적인 한계를 해결하기 위해, 현실 세계에서 전경 객체가 배경 위에 오버래핑되는 상황을 모델링한다.
• 오버래핑 모델을 기반으로 하여 낮은 질서 배경, 희박 전경, 그리고 그들의 공간 마스크를 동시에 회복하는 마스크 기반 분해 프레임워크를 개발한다.
• 수류나 움직이는 잎사귀와 같은 무작위 변동성으로 인한 동적 배경에 대한 강인성을 향상시키기 위해, 배경을 낮은 질서 성분과 희박 성분으로 분해하는 모델을 확장한다.
• 최적화 과정에서 전경 마스크를 직접 복원함으로써, 희박 성분에 대한 후처리가 필요 없도록 한다.
• 물결이나 움직이는 잎사귀와 같은 도전적인 조건에서 벤치마크 데이터셋에서 최신 기술 수준의 전경 감지 성능을 달성한다.

제안 방법

• X = (1−W)∘L + W∘S로 문제를 수식화한다. 여기서 W는 전경 위치를 나타내는 이진 마스크, L은 낮은 질서 배경, S는 희박 전경이다.
• 비볼록 최적화 문제를 해결하기 위해 선형화를 적용한 ADMM를 사용하는 M-RPCA를 제안하며, 오버래핑 모델 하에서 W, L, S를 동시에 회복한다.
• 전경 마스크의 공간 연결성을 강화하기 위해 마스크 W에 총 변동성(TV) 정규화를 도입함으로써 감지 품질을 향상시킨다.
• 동적 배경을 L + E로 모델링함으로써 프레임워크를 EM-RPCA로 확장한다. 여기서 E는 파도나 잎사귀와 같은 무작위 변동성에 대한 희박 성분이다.
• 합리적인 가정 하에 KKT 점으로 수렴하는 것을 보장하기 위해, 선형화를 적용한 ADMM를 사용하여 확장된 최적화 문제를 해결한다.
• S = W∘X를 통해 S를 W와 X에서 유도함으로써, S를 직접 최적화할 필요 없이 프레임워크를 단순화한다.

실험 결과

연구 질문

• RQ1 오버래핑(덧셈이 아닌) 성분을 가정하는 마스크 기반 분해 모델이 기존 RPCA에 비해 전경 감지 정확도를 향상시킬 수 있는가?
• RQ2 최적화 과정에서 직접 마스크를 복원함으로써 희박 성분에 대한 후처리가 필요 없어지며, 감지 강인성이 향상되는가?
• RQ3 수류나 움직이는 잎사귀와 같은 무작위 변동성을 포함한 동적 배경을 처리할 수 있도록 프레임워크를 확장할 수 있는가?
• RQ4 전경 마스크에 총 변동성 정규화를 적용해 공간 연결성을 강화함으로써 실생활 영상 시퀀스에서 감지 성능이 향상되는가?
• RQ5 EM-RPCA 프레임워크는 TVRPCA 및 RPCA와 같은 최신 기술 대비 F-측정치와 PSNR 측면에서 어떤 성능을 보이는가?

주요 결과

• WaterSurface 시퀀스에서 EM-RPCA는 F-측정치 0.88을 기록하여 RPCA(0.41)를 크게 능가하고 TVRPCA(0.88)와 동일한 성능을 달성한다.
• Fountain 시퀀스에서 EM-RPCA는 F-측정치 0.81을 기록하여 RPCA(0.57)와 TVRPCA(0.80)를 능가한다.
• 합성 노이즈 실험(SNR = 7.7 dB)에서 EM-RPCA는 Pedestrian 시퀀스에서 PSNR 34.65, Highway에서 30.80을 기록하여 RPCA(34.10 및 31.14)를 능가한다.
• EM-RPCA의 ROC 곡선은 면적에서 약간의 향상을 보이며, 복원된 마스크 W의 히스토그램은 전경 감지에 높은 신뢰도를 나타낸다.
• 시각적 결과는 EM-RPCA가 전경이 움직임을 멈출 때 배경을 RPCA 및 TVRPCA보다 더 잘 복원함을 보여준다.
• Campus 및 Overpass 시퀀스에서 EM-RPCA는 각각 F-측정치 0.77과 0.78을 기록하여 RPCA(0.72 및 0.46)를 능가한다.