[논문 리뷰] Robust Image Segmentation in Low Depth Of Field Images

Franz Graf, Hans‐Peter Kriegel외 1명|arXiv (Cornell University)|2013. 02. 15.

Image Processing Techniques and Applications참고 문헌 2인용 수 35

한 줄 요약

이 논문은 형태적 필터링과 기울기 기반 초점 추정을 사용하여 저 심도의 초점(DOF) 이미지에서 관심 객체(OOI)를 완전 자동으로 분할하기 위한 강건하고 파rameter가 없는 알고리즘을 제안한다. 이 방법은 심도가 넓고 배경이 무늬가 있는 경우조차도 다양한 실제 이미지에서 기존의 세 가지 접근 방식보다 강건성을 뛰어나게 확보하며, 콘텐츠 기반 이미지 검색(CBIR) 응용 분야에서 뛰어난 성능을 보여준다.

ABSTRACT

In photography, low depth of field (DOF) is an important technique to emphasize the object of interest (OOI) within an image. Thus, low DOF images are widely used in the application area of macro, portrait or sports photography. When viewing a low DOF image, the viewer implicitly concentrates on the regions that are sharper regions of the image and thus segments the image into regions of interest and non regions of interest which has a major impact on the perception of the image. Thus, a robust algorithm for the fully automatic detection of the OOI in low DOF images provides valuable information for subsequent image processing and image retrieval. In this paper we propose a robust and parameterless algorithm for the fully automatic segmentation of low DOF images. We compare our method with three similar methods and show the superior robustness even though our algorithm does not require any parameters to be set by hand. The experiments are conducted on a real world data set with high and low DOF images.

연구 동기 및 목표

• 이미지 특성에 대한 수동 조정이나 사전 지식이 필요 없는, 저 심도의 초점(DOF) 이미지에서 완전 자동으로 파라미터가 없는 분할 알고리즘을 개발하는 것.
• 날카럽고 흐린 영역 간 전이가 점진적이고 명확한 경계가 없는 저 심도의 초점 이미지에서 관심 객체(OOI)를 분할하는 과제를 해결하는 것.
• 기존 방법이 도전받는 복잡한 상황, 예를 들어 무늬가 있는 배경, 고 ISO 노이즈, 공간적으로 분리된 OOI 등을 고려하여 강건성을 향상시키는 것.
• 심도 기반 분할이 콘텐츠 기반 이미지 검색(CBIR)에 미치는 영향을 평가하여, 인간의 초점 인식과 일치하는 방식으로 유사도 검색 성능을 향상시키는 것.
• 색상, 회색조, 세피아 톤 이미지 포함하여 다양한 이미지 도메인, 크기, 색상 깊이에 걸쳐 널리 적용 가능한 방법을 제공하는 것.

제안 방법

• 기울기 크기 맵을 사용하여 국소적 초점 수준을 추정하고, 높은 날카움을 보이는 영역을 잠재적인 OOI로 식별한다.
• 적응형 구조 요소를 사용한 형태적 필터링을 적용하여 날카로운 영역을 강화하고 연결하면서 노이즈와 고립된 픽셀을 억제한다.
• 공간적 근접성과 초점 유사도를 기반으로 인접한 고초점 영역을 융합하여 통합된 OOI를 형성하는 영역 융합 전략을 적용한다.
• 알고리즘은 완전 자동이고 파라미터가 없으며, 카메라 설정, 이미지 도메인, 해상도 입력 없이 이미지 콘텐츠에만 의존한다.
• 초점 추정은 局부 기울기 분산에 기반하며, 날카움과 관련이 있으며 뿌연 영역의 무늬 변화에 강건하다.
• 이 방법은 ImageJ 플러그인으로 구현되었으며, 기준 ROIs가 있는 실제 데이터셋을 사용하여 평가되었다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 볼 때, 완전 자동이고 파라미터가 없는 분할 알고리즘이 저 심도의 초점(DOF) 이미지에서 관심 객체를 분할하는 데 더 뛰어난 강건성을 확보할 수 있는가?
• RQ2 심도가 넓어져 배경에 상당한 무늬가 생기고 OOI가 흐릿해지는 경우 알고리즘이 어떻게 성능을 보이는가?
• RQ3 심도 기반 분할이 인간의 초점 인식과 일치함으로써 콘텐츠 기반 이미지 검색(CBIR) 성능을 얼마나 향상시키는가?
• RQ4 고 ISO 노이즈, 무늬가 있는 배경, 또는 다수의 공간적으로 분리된 관심 객체가 존재하는 어려운 조건에서 이 방법은 어떻게 대처하는가?
• RQ5 색상, 회색조, 세피아 톤 이미지 등 다양한 이미지 유형에 대해 도메인 특화 조정 없이 일반화 가능한가?

주요 결과

• 제안된 알고리즘은 [7], [11], [12]를 포함한 세 가지 기준 방법과 비교해 모든 테스트된 실제 저 심도의 초점 이미지에서 뛰어난 강건성을 확보한다.
• 심도가 넓어도 배경의 무늬가 뚜렷한 경우에도 높은 분할 정확도를 유지하며, 의미 있는 결과를 보존한다.
• 고 ISO 노이즈가 있는 이미지와 공간적으로 분리된 OOI가 있는 이미지에서도 잘 작동하며, 이전 방법이 실패하거나 조각난 결과를 내는 경우에도 유사한 성능을 보인다.
• 알고리즘이 콘텐츠 기반 이미지 검색(CBIR)에 긍정적인 영향을 미치며, 인간의 초점 인식과 일치함으로써 유사도 탐지 성능을 향상시킨다.
• 이 방법은 완전 자동이고 파라미터가 없으며, 해상도, 색상 깊이, 카메라 설정 등의 사전 지식이나 수동 조정이 필요 없다.
• 자바 웹스타트 데모와 ImageJ 플러그인은 공개되어 있으며, 참조 마스크가 포함된 테스트 데이터는 라이선스 승인 후 공개될 예정이다.