[논문 리뷰] A Robust Regression Approach for Background/Foreground Segmentation

Shervin Minaee, Haoping Yu외 1명|arXiv (Cornell University)|2014. 12. 16.

Video Surveillance and Tracking Methods참고 문헌 14인용 수 7

한 줄 요약

이 논문은 DCT 기저 함수를 사용하여 매끄러운 배경 영역을 모델링하고, RANSAC를 통해 날카운 갈라짐(문자/그래픽)을 이상치로 식별함으로써 스크린 컨텐츠 및 혼합 문서 이미지에서 배경/전경 분할을 위한 강건한 회귀 기반 방법을 제안한다. 이 방법은 k-means 군집화보다 DjVu에서 성능이 뛰어나며, 전경과 배경의 강도 범위가 겹치는 경우에도 유의미하게 우수하며, K=14개의 기저 함수를 사용해 핸드프린트 선 추출에 효과적으로 확장된다.

ABSTRACT

Background/foreground segmentation has a lot of applications in image and video processing. In this paper, a segmentation algorithm is proposed which is mainly designed for text and line extraction in screen content. The proposed method makes use of the fact that the background in each block is usually smoothly varying and can be modeled well by a linear combination of a few smoothly varying basis functions, while the foreground text and graphics create sharp discontinuity. The algorithm separates the background and foreground pixels by trying to fit pixel values in the block into a smooth function using a robust regression method. The inlier pixels that can fit well will be considered as background, while remaining outlier pixels will be considered foreground. This algorithm has been extensively tested on several images from HEVC standard test sequences for screen content coding, and is shown to have superior performance over other methods, such as the k-means clustering based segmentation algorithm in DjVu. This background/foreground segmentation can be used in different applications such as: text extraction, separate coding of background and foreground for compression of screen content and mixed content documents, principle line extraction from palmprint and crease detection in fingerprint images.

연구 동기 및 목표

• 배경 색상이 매끄럽게 변화하고 전경 강도와 겹칠 수 있는 스크린 컨텐츠 및 스캔 문서에서 정확한 배경/전경 분할에 도전하는 것.
• k-means와 같은 군집 기반 방법의 한계를 극복하기 위해, 전경과 배경 색상이 유사하거나 다수의 전경 색상이 존재할 경우 실패하는 DjVu 환경에서의 문제 해결.
• 배경 영역의 매끄러움을 활용하고 갈라짐을 전경으로 탐지하는 강건한 회귀를 사용한 분할 방법 개발.
• 스크린 컨텐츠를 초월해, 핸드프린트 영상에서의 주요 선 추출과 같은 다른 영상 분석 작업으로의 적용 가능성 확장.

제안 방법

• 각 이미지 블록의 배경을 K개의 매끄럽게 변화하는 DCT 기저 함수의 선형 조합으로 모델링한다.
• 매끄러운 모델에 적합한 내재점 픽셀을 식별함으로써 RANSAC를 사용해 기저 함수의 계수를 강건하게 추정한다.
• 매끄러운 모델에 적합하지 않은 픽셀(즉, 큰 잔차를 가진 픽셀)을 이상치로 간주하고 전경으로 분류한다.
• 더 큰 블록에서 시작하는 재귀적 4분면 분할을 적용하며, RANSAC가 충분한 내재점을 찾지 못할 경우에만 블록을 분할한다.
• 계산 가능성을 확보하기 위해 l0-노름을 근사하기 위해 l1-노름 최소화를 사용한 희박 분해를 적용한다.
• 전경 지도의 정밀도를 향상시키기 위해, 가장 큰 연결 성분만 유지하는 후처리를 수행한다. 특히 핸드프린트 응용에서 유용하다.

실험 결과

연구 질문

• RQ1 DCT 기저 함수를 사용한 강건한 회귀가 스크린 컨텐츠 영상에서 전경과 배경을 분할하는 데 기존의 k-means와 같은 군집 기반 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 빛나는 색상의 글자와 밝은 배경 간에 강도가 겹칠 경우, 제안된 방법이 얼마나 효과적인가?
• RQ3 이 방법은 스크린 컨텐츠를 초월해, 저대비 핸드프린트 영상에서의 주요 선 추출과 같은 다른 영상 분석 작업으로 일반화될 수 있는가?
• RQ4 핸드프린트 영상의 복잡한 배경을 모델링하기 위해 최적의 기저 함수 수(K)는 얼마인가?
• RQ5 재귀적 4분면 분할 전략은 계산 비용을 줄이면서도 분할 정확도를 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 HEVC 스크린 컨텐츠 테스트 시퀀스에서 DjVu의 k-means 기반 분할보다 유의미하게 뛰어난 성능을 보이며, 특히 매끄럽게 변화하는 배경을 가진 블록에서 두각을 나타낸다.
• 이 알고리즘은 전경 픽셀의 강도 값이 배경 강도와 겹칠 경우에도 전경 픽셀을 성공적으로 분할한다. 이는 군집 기반 방법의 주요 실패 케이스이다.
• 핸드프린트 영상의 경우 K=14개의 기저 함수를 사용함으로써 정확한 주요 선 추출이 가능했으며, 이는 텍스처가 뚜렷하거나 저대비 배경에 대해서도 강건함을 입증한다.
• 재귀적 4분면 분할 전략은 모든 블록에 대해 RANSAC를 수행하는 것을 피함으로써 계산량을 줄였으며, 동시에 높은 분할 정확도를 유지했다.
• l1-노름 최소화를 사용한 희박 분해 형식은 오차 항 S에서 큰 잔차로 나타나는 전경 픽셀을 효과적으로 식별했다.
• 가장 큰 연결 성분만 유지하는 후처리를 통해 전경 지도의 품질이 향상되었으며, 특히 노이즈가 많거나 복잡한 배경 영역에서 유의미한 개선을 보였다.