[논문 리뷰] Salient Object Detection in the Deep Learning Era: An In-Depth Survey

Wenguan Wang, Qiuxia Lai외 4명|arXiv (Cornell University)|2019. 04. 19.

Visual Attention and Saliency Detection인용 수 86

한 줄 요약

이 논문은 깊은 학습 기반의 주목 객체 탐지(SOD)에 대한 포괄적 조사를 제공하며, 분류 체계, 데이터셋, 평가 지표, 섭동 및 적대적 공격에 대한 강건성, 교차 데이터셋 일반화, 그리고 향후 방향을 다룬다. 또한 SOD 모델 분석을 위한 풍부한 주석 데이터셋과 벤치마크를 소개한다.

ABSTRACT

As an essential problem in computer vision, salient object detection (SOD) has attracted an increasing amount of research attention over the years. Recent advances in SOD are predominantly led by deep learning-based solutions (named deep SOD). To enable in-depth understanding of deep SOD, in this paper, we provide a comprehensive survey covering various aspects, ranging from algorithm taxonomy to unsolved issues. In particular, we first review deep SOD algorithms from different perspectives, including network architecture, level of supervision, learning paradigm, and object-/instance-level detection. Following that, we summarize and analyze existing SOD datasets and evaluation metrics. Then, we benchmark a large group of representative SOD models, and provide detailed analyses of the comparison results. Moreover, we study the performance of SOD algorithms under different attribute settings, which has not been thoroughly explored previously, by constructing a novel SOD dataset with rich attribute annotations covering various salient object types, challenging factors, and scene categories. We further analyze, for the first time in the field, the robustness of SOD models to random input perturbations and adversarial attacks. We also look into the generalization and difficulty of existing SOD datasets. Finally, we discuss several open issues of SOD and outline future research directions.

연구 동기 및 목표

• 네트워크 아키텍처, 감독 수준, 학습 패러다임, 객체/인스턴스 초점에 따라 깊은 SOD 모델이 어떻게 분류되는지 요약한다.
• 표준 SOD 데이터셋과 평가 지표를 분석하고 장단점을 평가한다.
• 새로운 주석 데이터셋을 사용한 속성 기반 평가를 제공하여 모델의 강점과 약점을 드러낸다.
• 입력 섭동 및 적대적 공격에 대한 SOD 모델의 강건성을 평가한다.
• 교차 데이터셋 일반화, 데이터셋 난이도, 해결해야 할 문제 및 향후 연구 방향을 논의한다.

제안 방법

• 네트워크 아키텍처(MLP, FCN, 하이브리드, 캡슐 등) 및 감독 수준(완전 감독/약간-감독/비감독)을 포함한 깊은 SOD 모델에 대한 분류 체계를 제시한다.
• 학습 패러다임(단일 작업 vs 다중 작업) 및 객체 수준 vs 인스턴스 수준 SOD를 검토한다.
• 속성 주석이 풍부한 데이터셋을 구축하여 속성 기반 성능 평가 및 모델 간 교차 분석을 가능하게 한다.
• 무작위 입력 섭동 및 적대적 공격에 대한 강건성을 검토하여 모델 신뢰성을 평가한다.
• 데이터셋 간 일반화 연구를 수행하고 데이터셋 난이도와 일반화 이슈를 논의하며, 개방 이슈와 향후 방향을 제시한다.

실험 결과

연구 질문

• RQ1 깊은 SOD 모델을 구성하는 주요 아키텍처 및 감독 기반 범주는 무엇인가?
• RQ2 현재의 SOD 데이터셋과 지표는 어떤 한계를 가지는가?
• RQ3 다양한 속성, 장면, 주목 객체 유형에 따라 SOD 모델은 어떻게 성능을 보이는가?
• RQ4 입력 섭동 및 적대적 공격에 대한 깊은 SOD 모델의 강건성은 어느 정도이며, 모델이 데이터셋 간 일반화에 얼마나 잘 작동하는가?
• RQ5 향후 SOD 연구를 위한 주요 개방 이슈와 유망한 방향은 무엇인가?

주요 결과

• 논문은 네트워크 아키텍처, 감독 수준, 학습 패러다임 및 객체/인스턴스 수준에 따른 깊은 SOD 모델의 체계적인 분류 체계를 제공한다.
• 객체 카테고리, 장면 카테고리 및 도전적 요인을 풍부하게 주석한 새로운 데이터셋을 사용한 속성 기반 평가가 수행된다.
• 무작위 입력 섭동에 대한 SOD 모델의 강건성을 분석하고 SOD 모델에 대한 최초의 적대적 공격 분석을 수행한다.
• 교차 데이터셋 일반화 분석은 데이터셋 편향과 SOD 벤치마크 간의 난이도 차이를 나타낸다.
• 저자들은 대표 모델을 벤치마크하고 향후 연구를 안내하기 위한 개방 이슈와 방향을 논의한다.
• 모든 주목도 맵, 주석 데이터셋 및 평가 코드는 공개적으로 제공된다.