[논문 리뷰] Exploiting Color Name Space for Salient Object Detection

Jing Lou, Huan Wang외 5명|arXiv (Cornell University)|2017. 03. 27.

Visual Attention and Saliency Detection참고 문헌 48인용 수 3

한 줄 요약

이 논문은 색상 이름 공간을 활용하여 이미지를 11개의 확률적 색상 이름 채널으로 변환함으로써 하부 구조적 주목도 검출을 향상시키는 새로운 주목 대상 객체 검출 모델을 제안한다. 주변성 피처와 전역적 색상 이름 기반 대비, 그리고 향상된 후처리 단계를 조합함으로써, 세 가지 공개 데이터셋에서 21개의 기존 모델을 초월하는 성능을 달성한다.

ABSTRACT

In this paper, we will investigate the contribution of color names for the task of salient object detection. An input image is first converted to color name space, which is consisted of 11 probabilistic channels. By exploiting a surroundedness cue, we obtain a saliency map through a linear combination of a set of sequential attention maps. To overcome the limitation of only using the surroundedness cue, two global cues with respect to color names are invoked to guide the computation of a weighted saliency map. Finally, we integrate the above two saliency maps into a unified framework to generate the final result. In addition, an improved post-processing procedure is introduced to effectively suppress image backgrounds while uniformly highlight salient objects. Experimental results show that the proposed model produces more accurate saliency maps and performs well against twenty-one saliency models in terms of three evaluation metrics on three public data sets.

연구 동기 및 목표

• 언어적 색상 이름이 전통적인 저수준 특징을 초월하여 주목 대상 객체 검출에 기여하는지 조사한다.
• 특히 이미지 경계에 연결되어 있거나 배경과 유사한 색상을 가진 객체를 처리하는 데 어려움을 겪는 주변성 기반 주목도 모델의 한계를 해결한다.
• 전역적 색상 이름 통계와 형태학적 후처리를 통합하여 주목 대상 영역을 균일하게 강조함으로써 주목도 맵 품질을 향상시킨다.
• 상향식 사전 지식이나 복잡한 딥러닝 아키텍처에 의존하지 않고도 정확도를 높이는 강력한 하부 구조적 프레임워크를 개발한다.

제안 방법

• 입력 이미지를 11채널 색상 이름 공간으로 변환하여 각 픽셀이 언어적 색상(예: 빨간색, 파란색, 초록색)에 속할 확률을 표현한다.
• 색상 이름 공간에서의 주변성 피처로부터 유도된 순차적 어텐션 맵의 선형 조합을 사용해 주목도 맵을 계산한다.
• 가중치가 부여된 주목도 맵을 유도하기 위해 전역적 피처 두 가지—전역적 색상 이름 희귀성과 지역적 색상 이름 대비—를 도입한다.
• 주변성 기반 주목도 맵과 전역 피처 기반 주목도 맵을 융합하여 통합된 프레임워크를 구성하고 최종 출력을 생성한다.
• 형태학적 닫힘 및 복원 연산을 사용한 향상된 후처리 파이프라인을 적용하여 배경을 억제하고 주목 대상 영역을 균일하게 강조한다.
• 경험적으로 조정된 파rameter를 가진 고정 반경 형태학적 연산을 사용하여 주목도 맵을 정밀하게 조정하지만, 논문에서는 향후 적응성 향상을 고려할 것임을 언급한다.

실험 결과

연구 질문

• RQ1 언어적 색상 이름, 즉 의미적 색상 표현이 기존의 저수준 특징을 초월하여 주목 대상 객체 검출에 기여할 수 있는가?
• RQ2 전역적 색상 이름 통계를 통합할 경우 주변성 기반 주목도 모델의 성능이 어떻게 향상되는가?
• RQ3 제안된 후처리 절차가 검출된 주목 대상 영역의 균일성과 명확성을 얼마나 향상시키는가?
• RQ4 주목 대상 객체가 이미지 경계에 연결되어 있거나 배경과 색상이 유사한 경우 모델의 성능은 어떻게 되는가?
• RQ5 색상 이름 공간 기반의 상향식, 딥러닝 기반 아키텍처가 아닌 모델이 표준 벤치마크에서 최신 기술 수준의 방법을 초월할 수 있는가?

주요 결과

• 제안된 모델은 세 가지 공개 데이터셋에서 F-측정, 평균 절대 오차(MAE), S-측정의 세 가지 평가 지표에서 21개의 기존 주목도 검출 모델을 모두 초월한다.
• 전역적 색상 이름 피처의 통합은 특히 전경과 배경 색상이 유사한 경우에 검출 정확도를 크게 향상시킨다.
• 향상된 후처리 단계는 배경 영역을 효과적으로 억제하면서도 주목 대상 객체의 높고 균일한 강도를 유지하여 후속 분할 작업을 용이하게 한다.
• 크고 명확한 주목 대상 객체에 대해 강력한 성능을 보이며, 고정된 형태학적 커널 크기로 인해 작은 객체 처리에 어려움을 겪는다.
• 미세한 인위적 경계로 인해 주목 대상 객체가 이미지 경계에 연결되어 있을 경우 모델이 주목 대상 객체를 탐지하지 못함을 확인하였으며, 이는 배경 사전 지식이나 상향식 피처가 필요함을 시사한다.
• 제거 분석 결과, 주변성 피처와 전역적 색상 이름 피처의 조합이 가장 높은 성능을 내며, 제안된 융합 프레임워크의 효과성을 입증한다.