[논문 리뷰] Salient Objects in Clutter

Deng-Ping Fan, Jing Zhang외 3명|arXiv (Cornell University)|2021. 05. 07.

Visual Attention and Saliency Detection인용 수 13

한 줄 요약

이 논문은 기존의 주목할 만한 객체 검출(SOD) 데이터셋에서 발생하는 중요한 데이터 편향—너무 단순하고 혼잡하지 않은 장면—을 규명하고 이를 해결하기 위해 '혼잡 속의 주목할 만한 객체(Salient Objects in Clutter, SOC)' 데이터셋을 제안한다. 실제적인, 고도로 레이블링된 이미지에 주목할 만한 객체와 비주목할 만한 객체를 함께 포함하고, 상세한 속성까지 제공함으로써, 레이블 스무딩, 데이터 증강, 자기지도 학습과 같은 데이터 중심 전략이 모델 아키텍처 개선만으로는 달성할 수 없는 성능 향상을 이끌 수 있음을 입증한다.

ABSTRACT

This paper identifies and addresses a serious design bias of existing salient object detection (SOD) datasets, which unrealistically assume that each image should contain at least one clear and uncluttered salient object. This design bias has led to a saturation in performance for state-of-the-art SOD models when evaluated on existing datasets. However, these models are still far from satisfactory when applied to real-world scenes. Based on our analyses, we propose a new high-quality dataset and update the previous saliency benchmark. Specifically, our dataset, called Salient Objects in Clutter~ extbf{(SOC)}, includes images with both salient and non-salient objects from several common object categories. In addition to object category annotations, each salient image is accompanied by attributes that reflect common challenges in common scenes, which can help provide deeper insight into the SOD problem. Further, with a given saliency encoder, e.g., the backbone network, existing saliency models are designed to achieve mapping from the training image set to the training ground-truth set. We, therefore, argue that improving the dataset can yield higher performance gains than focusing only on the decoder design. With this in mind, we investigate several dataset-enhancement strategies, including label smoothing to implicitly emphasize salient boundaries, random image augmentation to adapt saliency models to various scenarios, and self-supervised learning as a regularization strategy to learn from small datasets. Our extensive results demonstrate the effectiveness of these tricks. We also provide a comprehensive benchmark for SOD, which can be found in our repository: https://github.com/DengPingFan/SODBenchmark.

연구 동기 및 목표

• 기존 SOD 데이터셋에서 오랫동안 간과되어 온 데이터 선택 편향을 해결하되, 이는 모든 이미지가 단일한, 혼잡하지 않은 주목할 만한 객체를 포함한다고 가정한다.
• 실제 세계의 시각적 복잡성을 반영하는, 주목할 만한 객체와 비주목할 만한 객체가 모두 포함된 새로운 현실적인 벤치마크 데이터셋(SOC)을 개발한다.
• 훈련 데이터 품질 향상이 모델 아키텍처 개선보다 더 큰 성능 향상을 이끌 수 있는지 조사한다.
• 실제 세계의 도전 과제를 반영한 객체 카테고리와 속성까지 포함한 상세한 레이블을 제공하는 종합적인 SOD 벤치마크를 제공한다.
• SOD 분야의 향후 연구 방향을 데이터, 작업, 모델, 감독, 평가, 응용 수준에서 모두 규명한다.

제안 방법

• 실제 장면에서 촬영한 일반적인 카테고리의 객체를 포함한, 주목할 만한 객체와 비주목할 만한 객체가 모두 포함된 '혼잡 속의 주목할 만한 객체(Salient Objects in Clutter, SOC)' 데이터셋을 제안한다.
• 각 주목할 만한 이미지에 인스턴스 수준의 진짜값 마스크, 객체 카테고리 레이블, 그리고 실세계의 도전 과제를 반영한 속성(예: HO, OC, SC, SO)을 레이블링한다.
• 훈련 중에 주목할 만한 경계를 암묵적으로 강조하기 위해 레이블 스무딩을 적용하여 국소화 정확도를 향상시킨다.
• 다양한 실제 세계 시나리오에 걸쳐 모델의 일반화 능력을 향상시키기 위해 랜덤 이미지 증강을 사용한다.
• 소규모 데이터셋에서의 성능 향상을 위해 정규화 전략으로 자기지도 학습을 도입한다.
• 새로운 SOC 데이터셋을 기반으로 100여 개 이상의 SOD 모델을 대상으로 종합적인 벤치마크를 수행하고, 다양한 지표를 통해 성능을 평가한다.

Figure 2: Taxonomy of the saliency detection task. We highlight the scope of this study in gray. See $\S$ 2 for details.

실험 결과

연구 질문

• RQ1 SOD 데이터셋의 현재 설계 편향—단순하고 혼잡하지 않은 장면을 선호하는 것—이 실제 응용에서 모델의 일반화 능력을 얼마나 제한하는가?
• RQ2 SOC와 같은 더 현실적이고 고도로 레이블링된 데이터셋은 아키텍처 혁신을 초월해 SOD 성능 향상에 기여할 수 있는가?
• RQ3 레이블 스무딩, 데이터 증강, 자기지도 학습과 같은 데이터 중심 전략이 SOD 모델 성능 향상에 얼마나 효과적인가?
• RQ4 현재 SOD 모델이 처리하지 못하는 주요 실세계 도전 과제들(예: 가림, 혼잡, 작은 객체 등)은 무엇이며, 이를 데이터셋에 더 잘 반영할 수 있는가?
• RQ5 실제 SOD 응용의 요구사항을 더 잘 반영하기 위해 평가 지표와 벤치마크 관행을 어떻게 개선할 수 있는가?

주요 결과

• SOC 데이터셋은 100여 개 이상의 SOD 모델을 평가하는 새로운 벤치마크를 제공하며, 모델 설계를 초월해 데이터 품질이 성능에 미치는 영향을 입증한다.
• 레이블 스무딩은 경계 영역을 강조함으로써 국소화 정확도를 향상시켜 F-측정과 IoU 지표에서 명확한 성능 향상을 이끈다.
• 랜덤 데이터 증강은 특히 가림과 혼잡 상황에서 모델의 강인성을 향상시켜 다양한 실제 세계 시나리오에 대응하는 데 기여한다.
• 자기지도 학습 전략은 소규모 데이터셋에서 성능을 향상시켜 과적합을 줄이고 일반화 능력을 높인다.
• 벤치마크 결과는 최첨단 모델들조차 복잡하고 혼잡한 장면에서는 여전히 성능이 떨어지며, 더 나은 데이터 기반 훈련 전략이 필요함을 시사한다.
• 저자들은 데이터셋 개선이 아키텍처 혁신만으로는 달성할 수 없는 성능 향상을 이끌 수 있으며, 향후 SOD 연구에서 데이터 중심 접근을 권장한다.

Figure 6: Left: Attribute distribution over salient object images in our SOC dataset. Each number in the grid indicates the number of occurrences. Right: The dominant dependencies among attributes based on the frequency of occurrences. A larger link width indicates a higher probability of an attribu