[논문 리뷰] Image Segmentation in Video Sequences: A Probabilistic Approach

Nir Friedman, Stuart Russell|arXiv (Cornell University)|2013. 02. 06.

Image Retrieval and Classification Techniques참고 문헌 12인용 수 830

한 줄 요약

이 논문은 Roadwatch와 같은 교통 감시 시스템에서 차량 추적 성능을 향상시키기 위해 배경 추분 기반 기존 방법의 한계를 보완하는 확률적 혼합 정규분포 모델을 제안한다. 이 모델은 각 픽셀의 외관을 배경, 전경, 그림자 등 다양한 클래스에서 모델링하기 위해 점진적 EM 알고리즘을 사용한다. 이는 천천히 움직이는 물체를 효과적으로 처리하고, 실제 운동과 그림자를 구분함으로써 성능을 크게 향상시킨다.

ABSTRACT

"Background subtraction" is an old technique for finding moving objects in a video sequence for example, cars driving on a freeway. The idea is that subtracting the current image from a timeaveraged background image will leave only nonstationary objects. It is, however, a crude approximation to the task of classifying each pixel of the current image; it fails with slow-moving objects and does not distinguish shadows from moving objects. The basic idea of this paper is that we can classify each pixel using a model of how that pixel looks when it is part of different classes. We learn a mixture-of-Gaussians classification model for each pixel using an unsupervised technique- an efficient, incremental version of EM. Unlike the standard image-averaging approach, this automatically updates the mixture component for each class according to likelihood of membership; hence slow-moving objects are handled perfectly. Our approach also identifies and eliminates shadows much more effectively than other techniques such as thresholding. Application of this method as part of the Roadwatch traffic surveillance project is expected to result in significant improvements in vehicle identification and tracking.

연구 동기 및 목표

• 표준 배경 추분 기법의 한계, 특히 천천히 움직이는 물체에 대한 실패와 운동 물체와 그림자를 구분하지 못하는 문제를 해결하기 위해.
• 비디오 시퀀스에서 전경, 그림자, 배경 등 다양한 물체 클래스의 외관 분포를 학습하는 픽셀 단위 분류 모델을 개발하기 위해.
• 변화하는 환경 조건에 적응할 수 있도록 비지도이고 효율적인 EM 기반 알고리즘을 사용해 실시간으로 점진적 배경 모델 학습을 가능하게 하기 위해.
• 이산적 그림자 억제를 통해 실제 운동 물체를 정확히 분할하고 거짓 경고를 줄임으로써 교통 감시에서 차량 탐지 및 추적 정확도를 향상시키기 위해.
• 실세계 시스템, 예를 들어 Roadwatch 교통 모니터링 프로젝트에 적용 가능한 강건하고 확장 가능한 비디오 분할 솔루션을 제공하기 위해.

제안 방법

• 각 픽셀은 배경, 전경, 또는 그림자와 같은 다양한 클래스를 나타내는 성분을 가진 혼합 정규분포(MoG) 분포로 모델링된다.
• 실시간으로 MoG 파라미터를 학습하고 업데이트하기 위해 점진적 비지도 EM 알고리즘이 사용된다.
• 알고리즘은 각 픽셀의 강도 값이 각 정규분포 성분 하에서의 가능도를 기반으로 가장 가능성 있는 클래스에 할당된다.
• 관측된 픽셀 강도에 따라 성분의 가중치와 파라미터를 동적으로 업데이트함으로써 천천히 움직이는 물체에 대한 적응이 가능하다.
• 그림자 탐지 기능은 정적이고 저강도인 성분으로 모델링되며, 이는 운동하는 전경 물체와 통계적으로 구별된다.
• 임계치 기반 그림자 제거를 피하기 위해 확률적 분류에 의존함으로써 거짓 긍정 결과를 감소시킨다.

실험 결과

연구 질문

• RQ1 천천히 움직이는 물체를 다루기 위해 단순한 배경 추분을 초월한 픽셀 단위 분류는 어떻게 향상시킬 수 있는가?
• RQ2 확률적 모델은 비디오 데이터에서 실제 운동 물체와 그림자를 효과적으로 구분할 수 있는가?
• RQ3 점진적 EM 기반 학습 접근법이 동적인 비디오 환경에서 강건성과 적응성을 얼마나 향상시키는가?
• RQ4 혼합 정규분포 모델은 이미지 평균화 기법에 비해 분할 정확도와 거짓 경고 감소 측면에서 어떻게 비교되는가?
• RQ5 이 방법은 실세계 교통 감시 시스템에서 차량 추적 성능 향상을 위해 효과적으로 구현될 수 있는가?

주요 결과

• 제안된 방법은 천천히 움직이는 물체를 성공적으로 분할하여 표준 배경 추분 기법의 핵심적인 한계를 극복한다.
• 그림자는 효과적으로 식별되어 전경 탐지에서 제거되어, 임계치 기반 방법에 비해 거짓 긍정 결과가 감소한다.
• 점진적 EM 알고리즘은 비디오 데이터를 전체적으로 재처리할 필요 없이 실시간으로 배경 모델을 적응적으로 학습할 수 있도록 한다.
• Roadwatch 교통 감시 시스템 내에서 차량 탐지 및 추적 정확도가 향상되어 더 높은 정확도를 달성한다.
• 확률적 프레임워크는 다양한 조명 조건과 운동 조건에서도 픽셀의 강건한 분류를 가능하게 한다.
• 복잡한 비디오 시퀀스에서 기존 배경 추분 기법에 비해 분할 성능이 뚜렷이 향상됨을 보였다.