[논문 리뷰] Recurrent Attentional Networks for Saliency Detection

Jason Kuen, Zhenhua Wang외 1명|arXiv (Cornell University)|2016. 04. 12.

Visual Attention and Saliency Detection참고 문헌 48인용 수 51

한 줄 요약

이 논문은 공간 변환기와 순환 단위를 사용해 하위 영역에 집중하면서도 반복적으로 정밀도를 높이는 재귀적 주의성 컨볼루션-디컨볼루션 네트워크(RACDNN)를 제안한다. 이는 다중 척도 객체 탐지의 성능을 향상시키고 반복 과정에서의 맥락적 의존성을 활용한다. RACDNN은 ECSSD, HKUIS, SED2 데이터셋에서 최신 기술(SOTA)을 능가하며, F-측정치는 최대 5% 높고 MAE는 상당히 낮아진다.

ABSTRACT

Convolutional-deconvolution networks can be adopted to perform end-to-end saliency detection. But, they do not work well with objects of multiple scales. To overcome such a limitation, in this work, we propose a recurrent attentional convolutional-deconvolution network (RACDNN). Using spatial transformer and recurrent network units, RACDNN is able to iteratively attend to selected image sub-regions to perform saliency refinement progressively. Besides tackling the scale problem, RACDNN can also learn context-aware features from past iterations to enhance saliency refinement in future iterations. Experiments on several challenging saliency detection datasets validate the effectiveness of RACDNN, and show that RACDNN outperforms state-of-the-art saliency detection methods.

연구 동기 및 목표

• CNN-DeCNN의 고정된 수신장이 다중 척도 주의성 탐지에 악영향을 미치는 한계를 해결하기 위해.
• 밀도 있는 주의성 예측을 위한 표준 컨볼루션-디컨볼루션 네트워크에서의 맥락 모델링 부족을 극복하기 위해.
• 과거 반복 과정의 맥락을 활용해 점진적으로 주의성 지ap을 정밀화하기 위해 재귀적 및 주의성 기반 메커니즘을 통합하기 위해.
• 공간적으로 적응 가능한 주의 기반 하위 영역 집중을 통해 주의성 예측의 종단 간 반복 정밀화를 가능하게 하기 위해.
• 저수준 사전 지식이 실패하는 복잡한 환경에서 다수 또는 소형 주의성 객체를 더 잘 탐지하기 위해.

제안 방법

• 입력 이미지 전반에서 초기 주의성 지도를 생성하기 위해 기본 CNN-DeCNN을 사용한다.
• 각 반복에서 공간 변환기를 사용해 이미지 하위 영역에 동적으로 주의를 기울이는 순환 주의 모듈을 적용한다.
• 주의를 기울인 하위 영역 특징을 두 번째 CNN-DeCNN에 공급해 국소화된 주의성 정밀화를 수행한다.
• 과거 반복에서의 맥락 정보를 유지하기 위해 순환 연결을 활용해 현재 정밀화를 향상시킨다.
• 최종 주의성 지도 출력을 정밀화하기 위해 평균 이동(post-processing)을 사용한다.
• 지표 주의성 지도에 대한 지도 학습 손실을 사용해 전체 RACDNN 프레임워크를 종단 간(end-to-end)으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 재귀적 주의 기반 메커니즘이 다양한 척도의 객체에 대한 주의성 탐지 성능을 향상시킬 수 있는가?
• RQ2 공간 주의 기반 반복 정밀화가 경계 정밀도 향상과 객체 세부 정보 유지에 기여하는가?
• RQ3 이전 반복에서의 맥락적 특징을 활용하면 단일 통과 네트워크를 넘어서 주의성 예측 성능이 향상되는가?
• RQ4 주의 기반 하위 영역 집중이 배경 혼잡성과 복잡한 환경으로부터 간섭을 줄일 수 있는가?
• RQ5 RACDNN은 정량적 및 정성적으로 최신 기술(SOTA) 주의성 탐지 모델과 어떻게 비교되는가?

주요 결과

• ECSSD 데이터셋에서 RACDNN은 다음으로 우수한 방법(DRFI)보다 F-측정치가 5.0% 높으며, F-측정치는 87.81%를 기록했다.
• HKUIS 데이터셋에서 RACDNN은 평균 절대 오차(MAE)를 7.03%로 낮춰, MCDL(9.13%)과 MDF(12.93%)를 모두 앞섰다.
• 정성적 결과에서는 RACDNN이 개와 토끼처럼 서로 겹치는 다수의 주의성 객체를 성공적으로 탐지하는 반면, 다른 방법들은 한쪽을 탐지하지 못하는 것으로 나타났다.
• 그림 1의 초기 지도와 정밀화된 지도 비교를 통해 RACDNN이 가장 날카운 가장자리와 객체 세부 정보 유지에 뚜렷한 향상을 보였다.
• 비재귀적 주의 기반 모델(NRACDNN)은 베이스라인보다 성능이 뛰어나지만 RACDNN에 비해 열등하여 재귀적 맥락 모델링의 가치를 입증했다.
• ECSSD 및 HKUIS의 복잡한 환경에서 RACDNN은 최신 기술(SOTA) 방법보다 성능 향상이 가장 두드러지게 나타나, 혼잡성과 척도 변화에 대한 강건성을 보였다.