[논문 리뷰] Edge-guided Non-local Fully Convolutional Network for Salient Object Detection

Zhengzheng Tu, Yan Ma외 3명|arXiv (Cornell University)|2019. 08. 07.

Visual Attention and Saliency Detection참고 문헌 52인용 수 7

한 줄 요약

이 논문은 경계 유도(non-local) 완전 컨volution 신경망인 ENFNet을 제안하며, 경계 사전 지식을 가이던스 블록을 통해 통합하여 정밀한 객체 경계를 유지한다. 계층적인 비국소 특징과 경계 인식 공간 및 채널별 변환을 융합함으로써 ENFNet은 다섯 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 기존 방법에 비해 F-측정치를 향상시키고 MAE를 감소시켰다.

ABSTRACT

Fully Convolutional Neural Network (FCN) has been widely applied to salient object detection recently by virtue of high-level semantic feature extraction, but existing FCN based methods still suffer from continuous striding and pooling operations leading to loss of spatial structure and blurred edges. To maintain the clear edge structure of salient objects, we propose a novel Edge-guided Non-local FCN (ENFNet) to perform edge guided feature learning for accurate salient object detection. In a specific, we extract hierarchical global and local information in FCN to incorporate non-local features for effective feature representations. To preserve good boundaries of salient objects, we propose a guidance block to embed edge prior knowledge into hierarchical feature maps. The guidance block not only performs feature-wise manipulation but also spatial-wise transformation for effective edge embeddings. Our model is trained on the MSRA-B dataset and tested on five popular benchmark datasets. Comparing with the state-of-the-art methods, the proposed method achieves the best performance on all datasets.

연구 동기 및 목표

• 스트라이딩 및 풀링 연산으로 인한 FCN 기반 명현 객체 검출에서의 객체 경계 품질 저하 문제를 해결하기 위해.
• 계층적인 비국소 구조를 통해 국소 대비 및 전반적 맥락을 통합함으로써 특징 표현을 향상시키기 위해.
• 전용 가이던스 블록을 통해 경계 사전 지식을 통합하여 공간적 및 채널별 특징 변환을 수행함으로써 경계 정확도를 향상시키기 위해.
• 후처리 기법에 의존하지 않고도 다양한 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 가시적 특징별 애핀 변환을 사용하여 경계 사전 지식을 특징 맵에 통합하는 가이던스 블록을 도입하여 채널별 및 공간별 특징 조작을 가능하게 한다.
• FCN의 여러 레이어에서 계층적인 비국소 특징을 계산하여 장거리 의존성과 풍부한 전반적 맥락을 포착한다.
• EdgeNet을 사용하여 경계 맵을 추출하고, 이를 각 컨볼루션 레이어에서 특징 학습 과정을 유도하는 사전 지식으로 활용한다.
• 최종 색채 맵은 FCN에서 유도된 경계 인식 국소 대비 특징과 비국소 전반적 맥락 특징을 융합하여 생성된다.
• 네트워크는 MSRA-B에서 엔드 투 엔드로 훈련되고, 다섯 개의 표준 벤치마크에서 평가된다: HKU-IS, PASCAL-S, DUT-OMRON, ECSSD, SOD.
• 제거 분석을 통해 가이던스 블록의 효과성과 여러 레이어에 걸친 배치의 유의미함을 검증한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 네트워크에 경계 사전 지식을 효과적으로 통합하여 명현 객체 검출에서 경계 유지 능력을 향상시킬 수 있는가?
• RQ2 제안된 경계 유도 비국소 메커니즘은 표준 FCN 및 비국소 네트워크에 비해 특징 표현 및 국소화 정확도 측면에서 어떻게 비교되는가?
• RQ3 경계에 의해 유도된 국소 대비 및 전반적 맥락 특징의 계층적 융합은 다양한 데이터셋에서 일관된 성능 향상을 이끌어내는가?
• RQ4 가이던스 블록의 수와 배치가 검출 성능에 미치는 영향은 무엇인가?

주요 결과

• ENFNet은 다섯 개의 벤치마크 데이터셋 전부에서 가장 높은 F-측정치를 기록했으며, DUT-OMRON에서 두 번째로 뛰어난 방법인 NLDF보다 2.6% 향상되었고, SOD에서는 2.1% 향상되었다.
• DUT-OMRON에서 MAE를 NLDF 대비 15% 감소시키고, SOD에서는 9% 감소시켜 뛰어난 경계 정확도를 입증했다.
• HKU-IS에서 ENFNet은 F-측정치 0.915와 MAE 0.040을 기록하여 모든 비교 방법보다 두 지표에서 뛰어난 성능을 보였다.
• 시각적 비교 결과, ENFNet은 특히 다수의 명현 객체를 포함한 복잡한 시나리오에서 더 선명하고 일관된 경계 예측을 생성하는 날카운 색채 맵을 생성함을 확인했다.
• 제거 분석 결과, 가이던스 블록이 성능 향상에 크게 기여하며, 초기 레이어에 세 개의 가이던스 블록을 배치할 경우 최적의 성능을 달성함을 확인했다.
• CRF 후처리를 사용하지 않더라도, CRF 개선 기법을 사용하는 DCL보다 ENFNet이 뛰어난 성능을 보여, 제안된 아키텍처의 강건성을 확인했다.