[논문 리뷰] On the Role and the Importance of Features for Background Modeling and Foreground Detection

Thierry Bouwmans, Caroline Silva외 4명|arXiv (Cornell University)|2016. 11. 28.

Video Surveillance and Tracking Methods인용 수 11

한 줄 요약

이 논문은 배경 모델링 및 전경 검출에서 사용되는 특징들의 종합적 서베이와 체계적 분석을 제공하며, 조명 변화, 동적 배경, 가림 등 도전 과제에 대비한 강건성 향상에 기여하는 특징들의 역할을 평가한다. 색상, 텍스처(특히 LBP 변형), 운동, 스테레오, 깊이 특징을 벤치마킹한 결과, 구간 값 퍼지 쇼쿠에이 적분을 통한 조명에 강인한 색상, 시공간적 텍스처, 깊이 특징의 융합이 가장 강건한 성능을 보였다.

ABSTRACT

Background modeling has emerged as a popular foreground detection technique for various applications in video surveillance. Background modeling methods have become increasing efficient in robustly modeling the background and hence detecting moving objects in any visual scene. Although several background subtraction and foreground detection have been proposed recently, no traditional algorithm today still seem to be able to simultaneously address all the key challenges of illumination variation, dynamic camera motion, cluttered background and occlusion. This limitation can be attributed to the lack of systematic investigation concerning the role and importance of features within background modeling and foreground detection. With the availability of a rather large set of invariant features, the challenge is in determining the best combination of features that would improve accuracy and robustness in detection. The purpose of this study is to initiate a rigorous and comprehensive survey of features used within background modeling and foreground detection. Further, this paper presents a systematic experimental and statistical analysis of techniques that provide valuable insight on the trends in background modeling and use it to draw meaningful recommendations for practitioners. In this paper, a preliminary review of the key characteristics of features based on the types and sizes is provided in addition to investigating their intrinsic spectral, spatial and temporal properties. Furthermore, improvements using statistical and fuzzy tools are examined and techniques based on multiple features are benchmarked against reliability and selection criterion. Finally, a description of the different resources available such as datasets and codes is provided.

연구 동기 및 목표

• 최근 10년간 배경 모델링 및 전경 검출에 사용된 특징들을 철저하고 종합적인 서베이를 수행하기 위해.
• 특징의 내재된 스펙트럼적, 공간적, 시간적 성질과 그 검출 강건성에 미치는 영향을 분석하기 위해.
• 다양한 특징 융합 기법을 벤치마킹하고 도전적인 영상 환경에서 최적의 조합을 특정하기 위해.
• 통계적 및 퍼지 분석 기반의 실용적 특징 선택 및 융합 권장 사항을 제공하기 위해.
• 재현 가능성과 커뮤니티 활용을 위해 오픈소스 자원, 데이터셋, 코드를 정리하고 공유하기 위해.

제안 방법

• 10년간의 논문 약 600편 이상을 체계적으로 검토하여 특징의 유형, 크기, 영역, 수학적 개념별로 분류하기 위해.
• 스펙트럼 특징(예: 색상의 YCrCb), 공간 특징(예: 엣지, LBP 변형을 통한 텍스처), 시간 특징(예: 운동, 스테레오, 깊이)의 분석을 위해.
• 특징 간 종속성과 융합을 모델링하기 위해 통계적 및 퍼지 도구(예: 쇼쿠에이 적분 및 구간 값 퍼지 적분)의 적용을 위해.
• 표준 데이터셋과 지상 진실(annotation)을 사용하여 다양한 특징 융합 기법의 성능을 비교 평가하기 위해.
• OpenCV 호환 가능한 배경 추출용 11종의 LBP 변형을 포함한 LBP 라이브러리의 구현 및 배포를 위해.
• IWOC-SVM과 같은 고급 기법을 사용하여 특징 신뢰도 및 선택 성능 평가 및 AdaBoost와 같은 기본 기법과의 비교를 위해.

실험 결과

연구 질문

• RQ1 전경 검출에서 조명 변화와 동적 배경에 대해 가장 강건한 특징 유형(색상, 텍스처, 운동, 깊이, 스테레오)은 무엇인가?
• RQ2 다양한 조도 및 배경 조건에서 로컬 이진 패턴(LBP)의 다양한 변형은 어떻게 성능을 발휘하는가?
• RQ3 다양한 특징을 융합하여 검출 정확도와 강건성을 향상시키는 최적의 방법은 무엇인가?
• RQ4 특징 선택 및 융합 기법은 특징 간 종속성을 어떻게 고려할 수 있는가?
• RQ5 실제 영상 감시 응용 분야에서 가장 신뢰도 있고 효과적인 특징 조합은 무엇인가?

주요 결과

• 배경 모델링에서 색상 특징으로서 YCrCb 색상 공간이 가장 적합한 것으로 확인되었다.
• LBP 변형 중에서 XCS-LBP가 조명 변화와 동적 배경 조건에서 뛰어난 성능을 보였다.
• 구간 값 퍼지 쇼쿠에이 적분을 통한 특징 융합이 특징 간 종속성을 효과적으로 모델링하여 다른 융합 방법보다 뛰어난 성능을 보였다.
• 조명에 강인한 색상 특징과 시공간적 텍스처, 깊이 특징을 융합한 조합이 가장 강건한 검출 성능을 보였다.
• 특징 선택은 검출 정확도를 크게 향상시키며, IWOC-SVM과 같은 고급 기법은 AdaBoost와 같은 기본 기법보다 뛰어난 성능을 보였다.
• 비-LBP 텍스처 특징의 포괄적 평가와 융합 및 선택 기법 간 체계적 비교가 여전히 필요로 한다.