[논문 리뷰] SE2Net: Siamese Edge-Enhancement Network for Salient Object Detection

Sanping Zhou, Jimuyang Zhang외 3명|arXiv (Cornell University)|2019. 03. 29.

Visual Attention and Saliency Detection참고 문헌 50인용 수 13

한 줄 요약

이 논문은 다단계에서 상호보완적으로 주목할 만한 객체 영역과 경계를 동시에 예측하여 경계 정확도를 향상시키는 시아모이스 경계 강화 네트워크인 SE2Net을 제안한다. 감독된 경계 지도와 경계 유도 추론 정밀화를 활용함으로써, 기존 방법 대비 Fβ에서 1.2–1.8% 향상된 상태의 최고 성능을 여러 벤치마크에서 달성한다.

ABSTRACT

Deep convolutional neural network significantly boosted the capability of salient object detection in handling large variations of scenes and object appearances. However, convolution operations seek to generate strong responses on individual pixels, while lack the ability to maintain the spatial structure of objects. Moreover, the down-sampling operations, such as pooling and striding, lose spatial details of the salient objects. In this paper, we propose a simple yet effective Siamese Edge-Enhancement Network (SE2Net) to preserve the edge structure for salient object detection. Specifically, a novel multi-stage siamese network is built to aggregate the low-level and high-level features, and parallelly estimate the salient maps of edges and regions. As a result, the predicted regions become more accurate by enhancing the responses at edges, and the predicted edges become more semantic by suppressing the false positives in background. After the refined salient maps of edges and regions are produced by the SE2Net, an edge-guided inference algorithm is designed to further improve the resulting salient masks along the predicted edges. Extensive experiments on several benchmark datasets have been conducted, which show that our method is superior than the state-of-the-art approaches.

연구 동기 및 목표

• 딥 네트워크의 풀링과 스트라이딩으로 인한 객체 경계 세부 정보의 열화 문제를 해결하기 위해.
• 영역 예측과 함께 엣지 예측을 명시적으로 감독된 의미론적 인식 작업으로 모델링하여 정밀도를 향상시키기 위해.
• 예측된 경계를 따라 미세한 결함을 수정하는 새로운 경계 유도 추론 알고리즘을 사용하여 사전 예측을 정밀화하기 위해.
• 다단계 시아모이스 아키텍처에서 영역 및 경계 브랜치 간의 상호보완적 학습을 통해 기존 방법보다 더 나은 성능을 달성하기 위해.

제안 방법

• 저수준 및 고수준 특징과 이전 단계의 예측 결과를 융합하여 반복적으로 사전 예측을 정밀화하는 다단계 시아모이스 네트워크를 설계하였다.
• 네트워크에는 주목할 만한 영역을 예측하는 브랜치와 객체 경계를 예측하는 브랜치의 두 개의 병렬 브랜치가 포함되어 있으며, 모두 완전히 감독된 방식으로 훈련된다.
• 각 단계에서의 경계 및 영역 예측 결과는 저수준 및 고수준 특징과 함께 다음 단계로 전달되어 출력 결과를 점진적으로 정밀화한다.
• 네트워크 후처리 단계에서 새로운 경계 유도 추론 알고리즘을 적용하여 예측된 경계를 따라 오류를 수정함으로써 최종 사전 예측 마스크의 품질을 향상시킨다.
• 경계 지ap은 Canny, 라플라시안 등 사전 제작된 검출기들을 사용하여 진짜 마스크에서 생성되며, 경계 학습에 정확한 지도를 제공한다.
• 백본(예: VGG16, ResNet50)을 사용해 초기 특징을 추출한 후, 스위치 연결을 갖는 단계별 정밀화 모듈을 거친다.

실험 결과

연구 질문

• RQ1 시아모이스 다단계 네트워크에서 주목할 만한 영역과 경계를 함께 학습함으로써 주목할 만한 객체 검출의 경계 정확도를 향상시킬 수 있는가?
• RQ2 완전한 감독된 경계 지도가 약한 감독 또는 암묵적인 경계 모델링보다 더 정밀하고 의미론적으로 유의미한 경계 예측을 이끌어낼 수 있는가?
• RQ3 예측된 경계를 따라 오류를 수정하는 경계 유도 추론 단계가 사전 예측 마스크를 추가로 정밀화할 수 있는가?
• RQ4 정확도와 추론 속도 측면에서 제안된 방법은 기존 최고 수준의 접근 방식과 어떻게 비교되는가?

주요 결과

• SE2Net은 여섯 개의 벤치마크 데이터셋에서 최고 성능을 기록하였으며, 백본으로 ResNet50를 사용할 경우 기존 방법 대비 Fβ에서 1.2% 향상되고 MAE에서 1.8% 향상되었다.
• ESSCD 데이터셋에서 SE2Net은 Fβ 0.958과 MAE 0.032를 기록하였으며, 최고의 경쟁자인 MSR보다 Fβ에서 4.5% 향상되고 MAE에서 41% 향상되었다.
• R3Net 대비 MAE는 1.6% 감소하고 Fβ는 2.6% 향상되어, 경계 브랜치와 다단계 정밀화의 효과를 입증하였다.
• 경계 유도 추론 단계는 시각적으로 확인된 바와 같이 객체 경계 근처에서 마스크 품질을 크게 향상시켰다.
• SE2Net은 계산적으로 효율적이며, 300×300 입력 이미지에 대해 사전 예측 마스크를 0.022초 내에 생성하여 추론 속도 측면에서도 경쟁력을 확보하였다.
• 제거 분석 결과, 시아모이스 다단계 설계와 경계 유도 추론 모두 성능 향상에 크게 기여하는 것으로 확인되었다.