[논문 리뷰] Salient Objects in Clutter: Bringing Salient Object Detection to the Foreground

Deng-Ping Fan, Ming‐Ming Cheng외 4명|arXiv (Cornell University)|2018. 03. 16.

Visual Attention and Saliency Detection참고 문헌 39인용 수 43

한 줄 요약

논문은 소음이 많은 배경에서 두드러진 객체(SOC 데이터셋)를 소개하고, 이 데이터셋에서 CNN 기반 SOD 모델의 포괄적 벤치마크를 제공하며, 다양한 실제 속성에 따른 성능 분석을 수행한다.

ABSTRACT

We provide a comprehensive evaluation of salient object detection (SOD) models. Our analysis identifies a serious design bias of existing SOD datasets which assumes that each image contains at least one clearly outstanding salient object in low clutter. The design bias has led to a saturated high performance for state-of-the-art SOD models when evaluated on existing datasets. The models, however, still perform far from being satisfactory when applied to real-world daily scenes. Based on our analyses, we first identify 7 crucial aspects that a comprehensive and balanced dataset should fulfill. Then, we propose a new high quality dataset and update the previous saliency benchmark. Specifically, our SOC (Salient Objects in Clutter) dataset, includes images with salient and non-salient objects from daily object categories. Beyond object category annotations, each salient image is accompanied by attributes that reflect common challenges in real-world scenes. Finally, we report attribute-based performance assessment on our dataset.

연구 동기 및 목표

• 이상적이고 잡음이 적은 장면에서 성능을 과대평가하는 기존 SOD 데이터셋의 편향을 식별한다.
• 실제적이고 대규모의 SOD 데이터셋 (SOC)을 만들고, 인스턴스 수준 주석과 속성을 가진 주목 대상 이미지와 비주목 대상 이미지를 포함한다.
• SOC에서 주요 CNN 기반 SOD 모델을 벤치마크하여 일반화 차이를 드러내고 향후 연구를 안내한다.
• 실제 세계의 도전에 대한 모델의 강점과 약점을 이해하기 위해 속성 기반 성능 분석을 제공한다.

제안 방법

• 현실적이고 균형 잡힌 SOD 데이터셋을 위한 일곱 가지 기준을 정의한다.
• 80개 이상 카테고리에 걸쳐 6,000장의 이미지(주목 3,000장, 비주목 3,000장)를 포함하여 비주목 이미지와 인스턴스 수준 주석을 포함해 SOC를 구성한다.
• 주목 대상 객체에 고품질 픽셀 수준 마스크를 주석하고 이미지별 속성(예: 모션 블러, 가림, 잡음)을 제공한다.
• 픽셀 단위 정확도, 영역 유사도(F-측정), 구조 유사도(S-측정)를 사용하여 SOC에서 대표적인 단일 태스크 및 다중 태스크 CNN 기반 SOD 모델을 평가한다.
• 특정 장면의 도전 과제에서 모델 성능을 분석하기 위해 속성 기반 성능 평가를 수행한다.
• 데이터셋과 벤치마킹 도구를 공개적으로 공개한다.

실험 결과

연구 질문

• RQ1 현실적인 장면의 잡음과 비주목 이미지에서 현재 SOD 모델은 기존 벤치마크와 비교하여 어떤 성능을 보이는가?
• RQ2 이전 SOD 데이터셋에 존재하는 데이터셋 설계 편향은 무엇이며 SOC는 이를 어떻게 해결하는가?
• RQ3 주목 대상 속성(예: 모션 블러, 가림, 잡음)이 서로 다른 아키텍처에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 속성 기반 벤치마킹이 최첨단 SOD 모델의 약점을 드러내고 향후 연구 방향을 제시할 수 있는가?

주요 결과

• SOC는 발표 시점에서 가장 큰 인스턴스 수준 SOD 데이터셋으로, 6,000장의 이미지(주목 3,000장, 비주목 3,000장)와 80개 이상의 카테고리로 구성되어 있다.
• SOC는 고품질 인스턴스 수준 주의 마스크와 현실 세계의 도전을 반영하는 객체 속성을 포함하여 이전 데이터셋보다 더 풍부한 분석이 가능하다.
• 벤치마크 결과는 기존 데이터셋에서 최상위 모델이 SOC에서 만족스러운 성능을 달성하지 못해 현실성 격차를 강조한다.
• 속성 기반 평가를 통해 대형 객체, 잡코, 가림 등과 같은 도전 과제에서 성능이 어떻게 저하되는지 보여 주며 향후 모델 개선 방향을 제시한다.
• 다중 태스크 및 약지도 학습 모델은 가능성을 보이지만 SOC에서 완전 지도 학습 단일 태스크 모델보다 여전히 뒤처져 있어 강건한 실제 SOD의 방향을 시사한다.