[논문 리뷰] Detection of Moving Object in Dynamic Background Using Gaussian Max-Pooling and Segmentation Constrained RPCA

Yang Li, Guangcan Liu외 1명|arXiv (Cornell University)|2017. 09. 03.

Advanced Measurement and Detection Methods인용 수 7

한 줄 요약

이 논문은 동적 배경에서 이동 물체 검출을 위한 새로운 방법을 제안한다. 가우시안 최대 풀링을 통해 안정적인 픽셀 값을 추출하고, 영상 분할을 통해 군집 희소성 조건을 부여한 세분화 제약이 있는 RPCA(비정상적 주성분 분석, SC-RPCA) 모델을 사용한다. 이 방법은 조명 변화, 물결, 눈과 같은 다양한 동적 배경 변화에 대해 강건성을 향상시키며, CDCNET 2014 벤치마크에서 최신 기술 대비 뛰어난 F-측도 성능을 달성한다.

ABSTRACT

Due to its efficiency and stability, Robust Principal Component Analysis (RPCA) has been emerging as a promising tool for moving object detection. Unfortunately, existing RPCA based methods assume static or quasi-static background, and thereby they may have trouble in coping with the background scenes that exhibit a persistent dynamic behavior. In this work, we shall introduce two techniques to fill in the gap. First, instead of using the raw pixel-value as features that are brittle in the presence of dynamic background, we devise a so-called Gaussian max-pooling operator to estimate a "stable-value" for each pixel. Those stable-values are robust to various background changes and can therefore distinguish effectively the foreground objects from the background. Then, to obtain more accurate results, we further propose a Segmentation Constrained RPCA (SC-RPCA) model, which incorporates the temporal and spatial continuity in images into RPCA. The inference process of SC-RPCA is a group sparsity constrained nuclear norm minimization problem, which is convex and easy to solve. Experimental results on seven videos from the CDCNET 2014 database show the superior performance of the proposed method.

연구 동기 및 목표

• RPCA 기반 방법이 정적 배경 가정을 위반하는 동적 배경을 다룰 때의 한계를 해결하기 위해.
• 조명 변화, 물결, 눈과 같은 요소에 저항하는 안정적인 픽셀 값 추정을 통해 동적 환경에서의 특징 표현을 향상시키기 위해.
• 영상 분할을 통한 시간적·공간적 연속성을 반영하여 군집 희소성 제약 조건을 도입함으로써 검출 정확도를 향상시키기 위해.
• 실시간 감시 응용 분야에 적합한 효율적이고 효과적인 볼록 최적화 프레임워크를 개발하기 위해.

제안 방법

• 가우시안 가중 최대 연산을 사용해 국소 강도 변화를 집계함으로써 각 픽셀에 대해 안정적인 값을 계산하는 새로운 연산자인 가우시안 최대 풀링을 도입한다.
• 스퍼피셀 분할을 통해 공간적으로 일관된 영역을 군집화하고, 이후 부분공간 군집화를 통해 시간적으로 일관된 영상 및 영상 세그먼트를 형성한다.
• 분할 결과를 RPCA에 군집 희소성 제약 조건으로 통합하여, 볼록 노름 최소화 문제로 공식화된 SC-RPCA 모델을 도입한다.
• 군집 희소성 제약 조건이 포함된 최적화를 통해 SC-RPCA 문제를 해결함으로써, 동적 배경에서의 전경 분리 성능을 향상시킨다.
• 이중 단계 파이프라인을 활용한다: 먼저 가우시안 최대 풀링을 통해 안정적인 값 추정을 수행하고, 그 다음 SC-RPCA를 적용하여 강건한 전경 검출을 수행한다.
• 평가를 위해 CDCNET 2014 데이터셋을 사용하며, 다양한 동적 환경에서 11종의 방법과 성능를 비교한다.

실험 결과

연구 질문

• RQ1 가우시안 최대 풀링을 통한 안정적인 값 추정이 물결, 눈과 같은 동적 배경 변화에 대해 강건성을 향상시키는가?
• RQ2 영상 분할을 통한 시간적·공간적 연속성 통합이 동적 환경에서 전경 검출 정확도를 향상시키는가?
• RQ3 제안된 SC-RPCA 모델이 복잡한 동적 배경을 다룰 때 기존 RPCA 및 다른 최신 기술 대비 어떻게 성능을 내는가?
• RQ4 분할에서 유도된 군집 희소성이 과도한 감시 상황에서 이동 물체 식별에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 'blizzard' 영상에서 F-측도 0.942를 기록하여, CP3online 및 KDE를 포함한 모든 경쟁 방법을 능가한다.
• 'canoe' 영상에서 F-측도 0.901을 달성하여, Xue(0.387)와 유클리드 거리(0.767)를 크게 앞서며 뛰어난 성능을 보였다.
• 'boats' 영상에서 F-측도 0.863을 기록하여, GMM(0.787)과 CP3online(0.815)를 모두 앞서는 성능을 보였다.
• 'overpass' 영상에서 F-측도 0.851을 달성하여 대부분의 방법을 능가했지만, CP3online(0.863)을 제외한 대부분의 방법보다 뛰어났다.
• 'winterDriveway' 영상에서 F-측도 0.843을 기록하여, CP3online(0.815)과 GMM(0.787)를 모두 초월했다.
• 그림 7의 시각적 결과는 유일하게 제안된 방법과 CP3online만이 눈과 동적 환경에서 일관되게 이동 물체를 검출하며, 제안된 방법이 더 적은 오진을 보였다.