[논문 리뷰] Moving Object Detection in Video Using Saliency Map and Subspace Learning

Yanwei Pang, Ye Li외 2명|arXiv (Cornell University)|2015. 09. 30.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 3

한 줄 요약

이 논문은 잡음, 혼잡함, 무문자 영역으로 인해 기존의 움직이는 객체 검출 기법에서 발생하는 높은 거짓 경고 및 누락 경고율 문제를 해결하기 위해, 선명도 맵을 점진적 부분공간 학습 프레임워크에 통합한 새로운 움직이는 객체 검출 방법인 MODSM을 제안한다. 희박성, 낮은 질서 구조, 연결성, 선명도를 동시에 최적화함으로써, 도전적인 배경, 무문자 영역, 의미 없는 운동이 있는 영상에서의 전경 검출 성능을 향상시켰으며, 기준 시퀀스에서 최신 기술 수준의 F1 스코어 0.7711을 달성하였다.

ABSTRACT

Moving object detection is a key to intelligent video analysis. On the one hand, what moves is not only interesting objects but also noise and cluttered background. On the other hand, moving objects without rich texture are prone not to be detected. So there are undesirable false alarms and missed alarms in many algorithms of moving object detection. To reduce the false alarms and missed alarms, in this paper, we propose to incorporate a saliency map into an incremental subspace analysis framework where the saliency map makes estimated background has less chance than foreground (i.e., moving objects) to contain salient objects. The proposed objective function systematically takes account into the properties of sparsity, low-rank, connectivity, and saliency. An alternative minimization algorithm is proposed to seek the optimal solutions. Experimental results on the Perception Test Images Sequences demonstrate that the proposed method is effective in reducing false alarms and missed alarms.

연구 동기 및 목표

• 잡음, 혼잡함, 무문자 영역으로 인해 기존의 움직이는 객체 검출 기법에서 발생하는 고도의 거짓 및 누락 경고율 문제를 해결하기 위해.
• 배경 변화보다 의미 있는 움직임을 가진 객체를 강조함으로써, 선명도 맵을 활용하여 전경 검출을 안내하기 위해.
• 희박성, 낮은 질서, 연결성, 선명도를 하나의 최적화 프레임워크에 통합하여 강력한 영상 배경 모델링을 실현하기 위해.
• 배치 방법보다 정확도와 동적인 장면에 대한 적응성에서 뛰어난 성능을 보이는 점진적 알고리즘을 개발하기 위해.
• 선명도 맵이 최적화되지 않은 경우에도 강인한 성능을 보이도록, 완벽한 선명도 맵에 대한 의존도를 줄이기 위해.

제안 방법

• 선명도 맵, 낮은 질서의 배경 행렬, 희박한 전경, 연결성 제약 조건을 통합한 통합 목적 함수를 제안한다.
• 비볼록 최적화 문제를 반복적으로 해결하기 위해 분할 수식 다중 승수법(ADMM) 기반 알고리즘을 사용한다.
• 선명도 맵은 파도가 일거나 나뭇잎이 흔들리는 등 의미 없는 운동 영역에서의 거짓 경고를 억제하기 위한 공간적 사전 지식으로 사용된다.
• 전경은 희박한 행렬로 모델링되고, 배경은 시간이 지남에 따라 점진적으로 학습된 부분공간에서 낮은 질서의 행렬로 표현된다.
• 검출된 움직이는 객체의 공간적 일관성을 확보하기 위해 연결성 제약 조건을 적용한다.
• 이 방법은 점진적 구조를 취하고 있어 전체 재계산 없이도 실시간 영상 시퀀스 처리가 가능하다.

실험 결과

연구 질문

• RQ1 부분공간 학습에 선명도 맵을 통합함으로써, 흔들리는 나뭇잎이나 물결무늬와 같은 의미 없는 운동으로 인한 거짓 경고를 줄일 수 있는가?
• RQ2 제안된 방법이 기존 방법에서 자주 누락되는 무문자 움직임 영역의 검출 성능을 향상시킬 수 있는가?
• RQ3 낮은 질서 및 희박한 행렬 분해와 선명도를 융합함으로써, 독립적인 부분공간 또는 선명도 기반 방법과 비교해 검출 성능에 어떤 영향을 미치는가?
• RQ4 선명도 맵의 품질이 최종 검출 정확도에 어느 정도의 영향을 미치는가?
• RQ5 점진적 최적화 프레임워크가 배치 방법보다 움직이는 객체 검출에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 MODSM 방법은 아홉 개의 영상 시퀀스에서 평균 F1 스코어 0.7711을 기록하여 RFDSA(0.7489)와 DECOLOR를 모두 앞서는 최고의 성능을 달성하였다.
• 선명도 맵 성능이 저하된 'Lobby' 영상을 제외한 경우, MODSM의 F1 스코어는 0.7955로 향상되었으며, 이는 선명도 품질에 민감한 성능을 보임을 시사한다.
• 분수 영상에서 MODSM는 거짓 경고율 0.05일 때 참 양성률 0.99를 기록하여 RFDSA(0.935)를 능가하였다.
• 시각적 결과에서는 MODSM가 정답에 매우 가까운 검출 결과를 보였고, 반면 RFDSA와 DECOLOR는 엘리베이터나 나뭇잎을 전경으로 잘못 분류하는 등 거짓 경고와 누락 검출 문제를 겪었다.
• 변동성이 큰 배경이 있는 장면에서 거짓 경고를 효과적으로 억제하며, 선명도 맵의 품질이 열 劣하더라도 잘 작동함을 입증하였다.
• 공간적 사전 지식으로서의 선명도 통합은 텍스처가 낮은 움직이는 객체 검출에 있어 크게 향상되어 누락 경고를 줄였다.