[논문 리뷰] Learning Uncertain Convolutional Features for Accurate Saliency Detection

Pingping Zhang, Dong Wang외 3명|arXiv (Cornell University)|2017. 08. 07.

Visual Attention and Saliency Detection참고 문헌 46인용 수 23

한 줄 요약

이 논문은 경계 국소화에서 특히 유의미한 정확도 향상을 위해 재구성된 드롭아웃(R-dropout)을 통해 불확실한 컨볼루션 특징(UCF)을 학습하는 완전 컨볼루션 네트워크를 제안한다. 또한 디컨볼루션에 기인한 셀러브룩 패턴을 줄이기 위해 하이브리드 업샘플링 방법을 도입하여 후처리 없이도 사전 검출, 의미 분할, 시각적 고정 예측 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Deep convolutional neural networks (CNNs) have delivered superior performance in many computer vision tasks. In this paper, we propose a novel deep fully convolutional network model for accurate salient object detection. The key contribution of this work is to learn deep uncertain convolutional features (UCF), which encourage the robustness and accuracy of saliency detection. We achieve this via introducing a reformulated dropout (R-dropout) after specific convolutional layers to construct an uncertain ensemble of internal feature units. In addition, we propose an effective hybrid upsampling method to reduce the checkerboard artifacts of deconvolution operators in our decoder network. The proposed methods can also be applied to other deep convolutional networks. Compared with existing saliency detection methods, the proposed UCF model is able to incorporate uncertainties for more accurate object boundary inference. Extensive experiments demonstrate that our proposed saliency model performs favorably against state-of-the-art approaches. The uncertain feature learning mechanism as well as the upsampling method can significantly improve performance on other pixel-wise vision tasks.

연구 동기 및 목표

• 딥 러닝 기반 사전 검출 모델의 확률적 해석 가능성과 강건성 부족 문제를 해결하기 위해.
• 픽셀 단위의 비전 작업에서 성능을 저하시키는 디컨볼루션 기반 업샘플링에 기인한 셀러브룩 패턴을 줄이기 위해.
• 종단 간 완전 컨볼루션 네트워크 내에서 불확실한 특징 학습과 경계 인식 사전 검출을 통합하기 위해.
• 사전 검출을 초월한 다른 픽셀 단위 예측 작업에 적용 가능한 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• 특정 컨볼루션 레이어 이후에 재구성된 드롭아웃(R-dropout)을 도입하여 내부 특징 유닛의 적응형 앙상블를 생성함으로써, 추가 파라미터 없이도 불확실성 추정이 가능하도록 한다.
• 업샘플링을 컨볼루션에서 분리하는 하이브리드 업샘플링 전략을 활용하여, 역행 컨볼루션과 보간법을 조합함으로써 셀러브룩 패턴을 최소화한다.
• 표준 인코더-디코더 아키텍처를 사용하며, 픽셀 단위의 분류 레이어를 적용하고, 종단 간 역전파를 통해 모든 파라미터를 동시에 학습한다.
• R-dropout을 적용하여 확률적 특징 맵을 생성함으로써 불확실성 모델링을 구현하고, 강건성과 경계 정확도를 향상시킨다.
• 공간 정보를 유지하기 위해 완전히 컨볼루션된 구조로 경량화된 네트워크를 설계하고, 완전 연결 레이어를 회피한다.
• PASCAL VOC 2012를 통한 의미 분할 및 MIT300, iSUN, SALICON을 통한 시각적 고정 예측을 포함한 여러 데이터셋에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 딥 러닝 특징의 불확실성 모델링이 특히 객체 경계에서 사전 검출 정확도와 강건성을 향상시킬 수 있는가?
• RQ2 픽셀 단위의 예측 작업에서 디컨볼루션에 기인한 셀러브룩 패턴을 효과적으로 완화할 수 있는가?
• RQ3 제안된 하이브리드 업샘플링 방법이 의미 분할 및 시각적 고정 예측과 같은 다양한 비전 작업에 일반화되는가?
• RQ4 불확실한 특징 학습과 아티팩트 감소 업샘플링의 조합이 후처리 없이도 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 UCF 모델은 여러 사전 검출 벤치마크에서 최고 성능을 기록하며, 경계 정확도와 총합 검출 품질에서 기존 방법을 능가한다.
• 절단 실험을 통해 R-dropout가 특징의 강건성을 크게 향상시키는 것으로 확인되었으며, V-B(R-dropout 전용)가 V-A(기본 드롭아웃)를 뚜렷한 격차로 앞서는 것으로 나타났다.
• 하이브리드 업샘플링 방법은 시각적으로 확인된 linе 6에서 셀러브룩 패턴을 감소시키며, PASCAL VOC 2012에서 표준 디컨볼루션 대비 평균 IoU를 0.78 포인트 향상시켰다.
• PASCAL VOC 2012 의미 분할 벤치마크에서 모델은 68.25의 평균 IoU, 92.19의 평균 픽셀 정확도, 77.28의 픽셀 정확도를 기록하여 SOTA 방법과 유사한 성능을 보였다.
• 시각적 고정 예측에서 모델은 AUC-J 0.8584(MIT300), 0.8615(iSUN), 0.7621(SALICON)을 기록하여 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 보였다.
• 이 방법은 작업 간 일반화 능력이 뛰어나며, 아키텍처 변경 없이도 의미 분할 및 시각적 고정 예측에서 경쟁력 있는 성능을 달성한다.