[논문 리뷰] Salient Object Detection via Objectness Measure

Sai Srivatsa R, R. Venkatesh Babu|arXiv (Cornell University)|2015. 06. 24.

Visual Attention and Saliency Detection참고 문헌 15인용 수 13

한 줄 요약

이 논문은 전경 영역을 추정하기 위해 객체성 제안을 활용하고, 전경 연결성이라는 새로운 측도를 도입하여 전경 가중치를 할당하는 주목할 만한 객체 검출 방법을 제안한다. 이러한 가중치를 글로벌 최적화 프레임워크에 통합함으로써, MSRA-1000 및 CSSD 데이터셋에서 최신 기술들을 능가하는 부드럽고 정확한 색채지도를 생성한다. 평균 절대 오차(MAE)가 낮아 향상된 성능을 달성한다.

ABSTRACT

Salient object detection has become an important task in many image processing applications. The existing approaches exploit background prior and contrast prior to attain state of the art results. In this paper, instead of using background cues, we estimate the foreground regions in an image using objectness proposals and utilize it to obtain smooth and accurate saliency maps. We propose a novel saliency measure called `foreground connectivity' which determines how tightly a pixel or a region is connected to the estimated foreground. We use the values assigned by this measure as foreground weights and integrate these in an optimization framework to obtain the final saliency maps. We extensively evaluate the proposed approach on two benchmark databases and demonstrate that the results obtained are better than the existing state of the art approaches.

연구 동기 및 목표

• 경계 및 대비 우선순위의 한계를 해결하기 위해 전경 추정에 초점을 이동시킴으로써 주목할 만한 객체 검출의 문제를 해결한다.
• 특히 객체가 이미지 경계에 닿아 있을 경우에 취약한 경계 우선순위의 취약성을 극복한다.
• 편의적 특징 조합이 아닌 원리적인 최적화 프레임워크를 사용하여 색채지도 품질을 향상시킨다.
• 추정된 전경과의 영역 연결성을 정량화하는 강건한 전경 연결성 메트릭을 개발한다.
• 객체성 제안과 슈퍼픽셀 기반 처리를 사용하여 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 초기 전경 영역 추정을 위해 BING 객체성 제안 방법의 수정된 버전을 사용한다.
• 슈퍼픽셀 기반 객체성을 계산하여 각 슈퍼픽셀이 전경에 속할 가능성을 결정한다.
• 전경 연결성(FG)을 색채지도 측도로 도입한다: FG = (전경까지의 거리 합) / (배경까지의 거리 합)이며, 역수를 전경 가중치로 사용한다.
• 전경 가중치, 배경 가중치, 공간적 부드러움을 쌍방향 항을 통해 조합한 비용 함수를 최소화하는 글로벌 최적화 프레임워크를 적용한다.
• 최적화에 대해 [13]과 동일한 파rameter 설정을 사용하여 부드럽고 균일한 색채지도를 보장한다.
• 전경 연결성 측도에서 유도된 전경 가중치와 배경 가중치를 비용 함수에 통합하여 최종 색채지도 값을 유도한다.

실험 결과

연구 질문

• RQ1 경계 우선순위에 의존하지 않고 객체성 제안을 효과적으로 사용하여 전경 영역을 추정할 수 있는가?
• RQ2 기존의 대비 또는 경계 우선순위와 비교해 볼 때, 새로운 전경 연결성 측도가 색채지도 정확도를 향상시키는가?
• RQ3 학습된 전경 가중치를 통합한 원리적인 최적화 프레임워크가 편의적 융합보다 더 부드럽고 정확한 색채지도를 생성하는가?
• RQ4 표준 벤치마크에서 정밀도, 재현율 및 MAE 측면에서 제안된 방법이 최신 기술 대비 어떻게 성능을 내는가?
• RQ5 복잡한 배경과 구조적으로 도전적인 이미지에 대해 이 방법이 잘 일반화되는가?

주요 결과

• 제안된 방법은 MSRA-1000 데이터셋에서 평균 절대 오차(MAE) 0.064를 달성하여 비교된 모든 최신 기술 방법들을 능가한다.
• CSSD 데이터셋에서의 방법은 MAE 0.132를 기록하여 평가된 모든 방법 중에서 가장 낮은 수준이다.
• 정밀도-재현율 곡선에서 경쟁력 있는 성능을 보이며 정밀도와 재현율 간의 균형이 뛰어나다.
• 평균 실행 시간은 0.27초/이미지(사전처리 및 슈퍼픽셀 분할 제외)로 높은 효율성을 보인다.
• 부드러움 제약 조건이 통합되어 최적화 프레임워크는 부드럽고 균일한 색채지도를 보장한다.
• 기존 우선순위보다 전경 연결성을 전경 가중치 측도로 사용할 경우 더 정확하고 신뢰할 수 있는 색채지도 예측이 가능하다.