[논문 리뷰] Pyramid Feature Attention Network for Saliency detection

Ting Zhao, Xiangqian Wu|arXiv (Cornell University)|2019. 03. 01.

Visual Attention and Saliency Detection참고 문헌 36인용 수 60

한 줄 요약

피라미드 특징 주의 네트워크(PFA)는 맥락 인식 피라미드 특징 추출, 채널‑별 및 공간 주의, 그리고 엣지 보존 손실을 도입하여 주의 탐지 경계를 개선하고 다섯 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

Saliency detection is one of the basic challenges in computer vision. How to extract effective features is a critical point for saliency detection. Recent methods mainly adopt integrating multi-scale convolutional features indiscriminately. However, not all features are useful for saliency detection and some even cause interferences. To solve this problem, we propose Pyramid Feature Attention network to focus on effective high-level context features and low-level spatial structural features. First, we design Context-aware Pyramid Feature Extraction (CPFE) module for multi-scale high-level feature maps to capture rich context features. Second, we adopt channel-wise attention (CA) after CPFE feature maps and spatial attention (SA) after low-level feature maps, then fuse outputs of CA & SA together. Finally, we propose an edge preservation loss to guide network to learn more detailed information in boundary localization. Extensive evaluations on five benchmark datasets demonstrate that the proposed method outperforms the state-of-the-art approaches under different evaluation metrics.

연구 동기 및 목표

• 효과적인 고수준 맥락 특징을 선택하고 저수준 공간 구조를 보존하여 강건한 주의 탐지의 동기를 부여한다.
• 고수준 특징의 다중 스케일 맥락을 포착하기 위해 CPFE를 제안한다.
• CPFE 이후 채널-별 주의(CA)를 통합하고 저수준 특징에 공간 주의(SA)를 적용하여 주의 맵을 정제한다.
• 경계 위치화를 향상시키기 위해 엣지 보존 손실을 도입한다.
• 다수의 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• 맥락 인식 피라미드 특징 추출(CPFE)은 고수준 VGG 블록에 확장률이 3, 5, 7인Atrous 합성곱을 사용하여 다중 스케일 맥락 특징을 생성한 다음 교차 채널 연결을 수행한다.
• 주목도와 관련된 채널을 강조하기 위해 고수준 CPFE 특징에 채널-별 주의(CA) 가중치를 적용한다.
• 저수준 특징에 공간 주의(SA)를 적용하여 배경 노이즈를 억제하고 경계를 선명하게 한다.
• CA로 조정된 고수준 특징과 SA로 조정된 저수준 특징의 융합을 통해 최종 주의 맵을 생성한다.
• 경계 보존 손실 L_B는 라플라시안 유도 경계 맵에 대해 교차 엔트로피로 감독하여 경계 위치화를 안내하고, 표준 주의 손실 L_S와 결합하여 L = α L_S + (1−α) L_B를 구성하며, α는 최적으로 0.7로 탐구되었다.

실험 결과

연구 질문

• RQ1 맥락 인식 다중 스케일 고수준 특징을 선택적 주의와 결합하는 것이 무분별한 다중 스케일 융합에 비해 주의 탐지를 개선하는가?
• RQ2 고수준 채널별 주의와 저수준 공간 주의가 주의 맵 품질과 경계 정확도를 향상시키는가?
• RQ3 엣지 보존 손실이 주의 맵의 디테일과 경계 위치화를 향상시키는가?
• RQ4 손실 함수 내에서 주의 맵 정확도와 경계 세부 정보 사이의 최적 균형은 무엇인가?

주요 결과

• 제안된 방법은 wFβ 및 MAE와 같은 지표에서 다섯 개의 벤치마크 데이터셋에서 최첨단 성능을 달성한다.
• CPFE는 고수준 특징에 대한 다중 스케일 맥락을 포착하고, 이를 채널-별 주의와 결합하면 중요한 영역의 위치화를 향상시킨다.
• 저수준 특징은 공간 주의로 다듬어 경계를 보존하고 배경 노이즈를 억제하는 데 도움을 준다.
• 엣지 보존 손실은 경계 세부 정보를 크게 향상시키며, α = 0.7이 DUTS-test에서 최상의 MAE와 wFβ를 얻었다.
• 고찰 연구는 모든 구성요소(CPFE, CA, SA, 엣지 보존 손실)가 성능 향상에 기여함을 보이며, 전체 모델이 최상의 결과를 낳는다.
• 이전 방법과 비교할 때 본 접근법은 강한 강건성을 보이며 DUT-OMRON과 같은 난이도 높은 데이터셋에서 특히 큰 이점을 보인다.