[논문 리뷰] Deep Edge-Aware Saliency Detection

Jing Zhang, Yuchao Dai외 2명|arXiv (Cornell University)|2017. 08. 15.

Visual Attention and Saliency Detection참고 문헌 6인용 수 17

한 줄 요약

이 논문은 종단간(end-to-end) 방식으로 명확한 에지와 색재도 맵을 동시에 학습하는 완전 컨볼루션 신경망을 제안한다. 이는 새로운 스위프-아키텍처와 확장된 컨볼루션(dilated convolutions)를 통해 수작업으로 만든 사전 지식(priors)과 다중 척도 특징을 통합한다. 이 방법은 10개의 벤치마크에서 최신 기술 수준의 성능을 달성하며, 복잡한 시나리오, 특히 다중 또는 소형 색재도 객체를 포함한 환경에서도 더 선명한 객체 경계와 뛰어난 강인성을 보이며, 이미지당 약 0.25초의 빠른 추론 시간을 유지한다.

ABSTRACT

There has been profound progress in visual saliency thanks to the deep learning architectures, however, there still exist three major challenges that hinder the detection performance for scenes with complex compositions, multiple salient objects, and salient objects of diverse scales. In particular, output maps of the existing methods remain low in spatial resolution causing blurred edges due to the stride and pooling operations, networks often neglect descriptive statistical and handcrafted priors that have potential to complement saliency detection results, and deep features at different layers stay mainly desolate waiting to be effectively fused to handle multi-scale salient objects. In this paper, we tackle these issues by a new fully convolutional neural network that jointly learns salient edges and saliency labels in an end-to-end fashion. Our framework first employs convolutional layers that reformulate the detection task as a dense labeling problem, then integrates handcrafted saliency features in a hierarchical manner into lower and higher levels of the deep network to leverage available information for multi-scale response, and finally refines the saliency map through dilated convolutions by imposing context. In this way, the salient edge priors are efficiently incorporated and the output resolution is significantly improved while keeping the memory requirements low, leading to cleaner and sharper object boundaries. Extensive experimental analyses on ten benchmarks demonstrate that our framework achieves consistently superior performance and attains robustness for complex scenes in comparison to the very recent state-of-the-art approaches.

연구 동기 및 목표

• 다중 또는 소형 색재도 객체를 포함한 복잡한 시나리오를 다루는 데 어려움을 겪는 딥 색재도 모델의 한계를 해결한다.
• CNN의 풀링 및 스트라이드 연산으로 인한 저해상도 출력 맵 문제를 해결한다.
• 수작업으로 만든 색재도 사전 지식(예: 경계, 대비, 중심 사전 지식)을 딥 특징과 융합하여 검출 정확도를 향상시킨다.
• 다양한 크기의 객체에 대응하기 위해 서로 다른 네트워크 레이어에서 유래한 다중 척도 특징을 효과적으로 융합한다.
• 메모리 및 추론 비용을 낮추면서도 고해상도 및 선명한 경계를 유지한다.

제안 방법

• 색재도 검출 문제를 배경, 색재도 에지, 색재도 객체의 세 가지 카테고리로 구성된 밀도 레이블링 문제로 재정의하여, 에지 인식 감독을 가능하게 한다.
• 저수준(세부 정보)과 고수준(의미 정보) 특징을 융합하기 위해 새로운 스위프-아키텍처를 갖춘 깊이-얕은 완전 컨볼루션 네트워크를 설계한다.
• 하나의 네트워크 레벨에서 하위 레벨과 고수준 레벨 양쪽에 수작업으로 만든 색재도 특징(예: 경계, 대비, 중심 사전 지식)을 계층적으로 통합하여 특징 표현을 풍부하게 한다.
• 컨텍스트 모듈에서 확장된 컨볼루션을 적용하여的感受 field를 확장하고, 색재도 맵을 정밀하게 보정함으로써 공간 일관성과 경계 선명도를 향상시킨다.
• 전체 네트워크를 종단간(end-to-end)으로 훈련하여 에지 및 색재도 예측을 동시에 최적화하며, 에지 사전 지식을 감독 신호로 활용한다.

실험 결과

연구 질문

• RQ1 색재도 에지와 색재도 맵을 동시에 학습하는 것이 딥 색재도 검출에서 경계 정확도와 해상도를 향상시키는가?
• RQ2 수작업으로 만든 색재도 사전 지식이 딥 신경망에 효과적으로 통합되어 복잡한 시나리오에서의 성능을 향상시키는가?
• RQ3 특히 하향식(bottom-up)과 상향식(top-down) 특징을 융합하는 다중 척도 특징 융합이 소형 색재도 객체 검출에 효과적인가?
• RQ4 확장된 컨볼루션을 통해 공간 해상도를 효과적으로 복원하고 경계 선명도를 향상시킬 수 있는가, 이때 메모리 비용은 증가하지 않는가?
• RQ5 제안된 방법이 다중 또는 매우 소형 색재도 객체를 포함한 데이터셋에 대해 얼마나 일반화 가능한가?

주요 결과

• 제안된 방법은 10개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 11개의 최근 최신 기술 수준 모델을 괴물처럼 앞서간다.
• 소형 색재도 객체가 포함된 데이터셋(예: DUT, 여기서 50% 이상의 이미지가 색재도 영역을 전체 영역의 10% 이하로 포함)에서 평균 F-측정치와 최대 F-측정치 모두 최고를 기록하여, 소형 객체 검출 능력이 뛰어나다는 것을 입증한다.
• 모델은 이미지당 약 0.25초의 빠른 추론 시간을 유지하며, 높은 정확도에도 불구하고 높은 효율성을 보인다.
• 저수준 특징과 수작업 사전 지식의 융합은 소형 색재도 객체에 대한 성능 향상에 크게 기여하며, 'Our(s)'가 소형 객체 서브셋에서 모든 베이스라인을 앞서는 성능을 기록한다.
• 다중 색재도 객체에 대한 일반화 능력이 뛰어나며, HKU-IS의 단일 및 다중 객체 서브셋 모두에서 최고의 PR 곡선 성능을 달성하여 객체 수 변화에 대한 강인성을 확인한다.
• 절단 실험(Ablation studies)은 에지 인식 감독과 다중 척도 특징 융합이 경계 선명도 향상과 전체 정확도 향상에 핵심 요소임을 확인한다.