[논문 리뷰] Robust Saliency Detection via Fusing Foreground and Background Priors

Kan Huang, Chunbiao Zhu외 1명|arXiv (Cornell University)|2017. 11. 01.

Visual Attention and Saliency Detection참고 문헌 12인용 수 3

한 줄 요약

이 논문은 주변성 정보 및 지오데식 거리 보정을 통해 전경과 배경 사전 지식을 융합하는 강건한 바닥에서부터의 주목도 검출 프레임워크를 제안한다. 고주변성 영역에서 유도된 슈퍼픽셀 기반 전경 시드와 이미지 테두리에서 유도된 배경 사전 지식을 함께 활용하고, 지오데식 거리 가중치를 통한 보정을 통해 최종 주목도 맵을 개선함으로써, ASD에서 평균 AUC 0.9446, DUT-OMRON에서 0.7619를 기록하며 11개의 최신 기술(SOTA) 방법을 모두 능가하는 최고의 성능을 달성한다.

ABSTRACT

Automatic Salient object detection has received tremendous attention from research community and has been an increasingly important tool in many computer vision tasks. This paper proposes a novel bottom-up salient object detection framework which considers both foreground and background cues. First, A series of background and foreground seeds are selected from an image reliably, and then used for calculation of saliency map separately. Next, a combination of foreground and background saliency map is performed. Last, a refinement step based on geodesic distance is utilized to enhance salient regions, thus deriving the final saliency map. Particularly we provide a robust scheme for seeds selection which contributes a lot to accuracy improvement in saliency detection. Extensive experimental evaluations demonstrate the effectiveness of our proposed method against other outstanding methods.

연구 동기 및 목표

• 기존 주목도 검출 방법이 전적으로 전경 또는 배경 사전 지식에 의존하는 데서 비롯되는 한계를 해결한다.
• 전경과 배경의 상호보완적 특징을 통합함으로써 주목도 객체 검출의 정확성과 강건성을 향상시킨다.
• 주변성 및 통계 임계값 기반으로 전경 및 배경 시드에 신뢰도 수준을 할당하는 신뢰도 기반의 안정적인 시드 추정 기법을 개발한다.
• 지오데식 거리 기반 보정을 통해 주목도 맵의 균일성과 경계 정밀도를 향상시킨다.
• 학습 데이터가 필요 없이도 최신 기술 수준의 성능을 달성하며, 실시간 적용에 적합한 효율성을 유지한다.

제안 방법

• BMS 알고리즘을 기반으로 한 주변성 맵에서 슈퍼픽셀을 SLIC를 통해 생성함으로써 노이즈를 감소시키고 구조를 유지하면서 전경 시드를 추출한다.
• 전경 시드의 평균 주변성 값에 상대적인 임계값을 사용하여 강한 시드와 약한 시드를 정의한다: 강한 시드는 $ S_p(i) \geq 2 \cdot \text{mean}(S_p) $ 를 만족하고, 약한 시드는 $ \text{mean}(S_p) \leq S_p(i) < 2 \cdot \text{mean}(S_p) $ 를 만족한다.
• 내재 다양체의 구조를 기반으로 시드에서부터 주목도 점수를 전파하는 그래프 기반 순위 매기기 방법을 사용해 전경 주목도를 계산한다.
• 이미지 테두리 영역에서 배경 사전 지식을 추출하고, 동일한 순위 매기기 메커니즘을 사용해 별도의 배경 주목도 맵을 계산한다.
• 각 맵에서 평균 이상의 값을 가지는 요소를 융합한 후, 융합된 집합을 시드로 재순위 매기기하여 전경과 배경 주목도 맵을 융합한다.
• 최종 주목도 맵을 지오데식 거리 기반 가중치를 사용해 보정한다: $ S_{final}(q) = \sum_j \delta_{qj} \cdot S_{com}(j) $, 여기서 $ \delta_{qj} = \exp\left(-\frac{d_g^2(p,i)}{2\sigma_c^2}\right) $ 이며, $ d_g $ 는 슈퍼픽셀 그래프 상의 최단 경로 거리이다.

실험 결과

연구 질문

• RQ1 전경과 배경 사전 지식을 융합하는 것이 단일 사전 지식에 의존하는 방법에 비해 주목도 검출의 강건성과 정확도를 향상시키는가?
• RQ2 주변성 정보가 신뢰할 수 있는 전경 시드를 식별하는 데 얼마나 효과적인가?
• RQ3 강한 시드와 약한 시드로 나누는 신뢰도 기반의 시드 추정 기법이 고정 임계값 기반 방법에 비해 성능 향상에 기여하는가?
• RQ4 지오데식 거리 기반 보정이 주목도 영역의 균일성 향상과 경계 정밀도 향상에 기여하는가?
• RQ5 제안된 융합 및 보정 프레임워크가 기준 데이터셋에서 기존 최신 기술 방법들을 얼마나 뛰어나게 성능을 내는가?

주요 결과

• 제안된 방법은 ASD 데이터셋에서 평균 AUC 0.9446을 기록하여 비교한 11개의 SOTA 방법(예: BMS, CAS, wCtr)을 모두 능가한다.
• 더 도전적인 DUT-OMRON 데이터셋에서는 평균 AUC 0.7619를 기록하며, GBVS, ITTI, PCA 등 모든 기준 방법을 초월한다.
• ASD에서 평균 절대 오차(MAE)가 0.0596, DUT-OMRON에서 0.1068로 가장 낮아 주목도 맵 추정의 높은 정밀도를 보여준다.
• 시각적 비교 결과, 제안된 방법은 경계 유지 능력이 뛰어나고 더 균일하게 주목도 영역을 강조하는 것으로 나타났다.
• 지오데식 거리 보정 단계는 특히 주목도 객체의 내부 영역 강화를 통해 주목도 맵의 균일성을 크게 향상시킨다.
• 학습이 불필요한 바닥에서부터의 설계 덕분에 높은 효율성을 유지하여 실시간 응용에 적합하다.