[논문 리뷰] Suppress and Balance: A Simple Gated Network for Salient Object Detection

Xiaoqi Zhao, Youwei Pang외 3명|arXiv (Cornell University)|2020. 07. 16.

Visual Attention and Saliency Detection참고 문헌 73인용 수 40

한 줄 요약

GateNet은 다단계 게이트 유닛을 도입해 인코더 기여를 균형 있게 억제하고, 듀얼 브랜치 디코더의 Fold-ASPP를 통해 다섯 데이터셋에서 실시간 속도로 최첨단 중요한 객체 탐지를 달성합니다.

ABSTRACT

Most salient object detection approaches use U-Net or feature pyramid networks (FPN) as their basic structures. These methods ignore two key problems when the encoder exchanges information with the decoder: one is the lack of interference control between them, the other is without considering the disparity of the contributions of different encoder blocks. In this work, we propose a simple gated network (GateNet) to solve both issues at once. With the help of multilevel gate units, the valuable context information from the encoder can be optimally transmitted to the decoder. We design a novel gated dual branch structure to build the cooperation among different levels of features and improve the discriminability of the whole network. Through the dual branch design, more details of the saliency map can be further restored. In addition, we adopt the atrous spatial pyramid pooling based on the proposed "Fold" operation (Fold-ASPP) to accurately localize salient objects of various scales. Extensive experiments on five challenging datasets demonstrate that the proposed model performs favorably against most state-of-the-art methods under different evaluation metrics.

연구 동기 및 목표

• U-Net/FPN 기반 SOD 모델에서 인코더 블록 간섭과 불균형한 기여를 설명하고 해결한다.
• 인코더에서 디코더로의 정보 흐름을 균형 있게 하려는 다단계 게이트 유닛을 갖춘 간단한 게이트 네트워크(GateNet)를 제안한다.
• 세부 정보를 복원하고 주도 맵 품질을 향상시키기 위한 듀얼 브랜치 디코더 아키텍처를 도입한다.
• Fold-ASPP(Folded ASPP)를 개발하여 국소 상관을 유지하면서 다중 스케일 컨텍스트를 포착한다.
• 다섯 개의 도전적인 SOD 데이터셋에서 최첨단 성능을 입증하고 실시간 추론 속도를 보인다.

제안 방법

• 전이 계층과 디코더 블록 사이에 다섯 개의 게이트 유닛을 삽입한 특징 피라미드(FPN) 백본 위에 GateNet를 구축한다.
• 레벨당 인코더와 디코더(또는 전이) 특징을 연결(concatenate)하여 두 개의 게이트 값을 계산한 뒤, 이 게이트를 사용해 FPN과 병렬 가지를 가중한다.
• 주요 탐지 예측을 위한 FPN 기반 가지와 세부 정보를 복원하기 위해 게이트된 인코더 특징을 융합하는 병렬 가지를 갖춘 듀얼-브랜치 디코더를 도입한다.
• Fold-ASPP를 제안한다: Fold 연산을 사용해 확장된 합성 공간 피라미드 풀링 모듈로, 확산 커널을 적용하기 전에 로컬 2x2 영역을 생성해 다중 스케일 컨텍스트를 강화한다.
• FPN과 병렬 가지를 잔차 병렬 연결로 결합해 시그모이드 출력이 있는 최종 탐지 맵으로 만든다.
• FPN 가지 출력과 최종 융합 출력에 대한 교차 엔트로피 손실로 다중 감독 학습을 수행한다.

실험 결과

연구 질문

• RQ1 인코더와 디코더 간 블록 간섭을 중요한 객체 탐지 모델에서 어떻게 제어할 수 있는가?
• RQ2 게이트 기반 정보 흐름 조절이 주도 예측을 위한 인코더 특징의 활용도를 향상시킬 수 있는가?
• RQ3 듀얼 브랜치 디코더와 Fold-ASPP가 단일 브랜치 디코더보다 다중 스케일 컨텍스트와 미세한 디테일을 더 잘 포착하는가?
• RQ4 다단계 게이트 유닛과 Fold-ASPP가 표준 SOD 데이터셋에서 정확도와 경계 품질에 어떤 영향을 미치는가?

주요 결과

• GateNet은 F-measure, S-measure, MAE 등의 지표에서 다섯 개의 도전적인 데이터셋에 걸쳐 17개 최첨단 SOD 방법을 지속적으로 능가한다.
• 다단계 게이트 유닛은 인코더 블록의 기여를 균형 있게 하고 배경 간섭을 억제하여 주도 탐지 구분력을 향상시킨다.
• Fold-ASPP는 표준 ASPP보다 더 풍부한 다중 스케일 컨텍스트와 더 나은 위치화를 제공한다(절개 연구에서 확인).
• 듀얼-브랜치 디코더는 병렬 잔차 경로를 통해 세부 정보를 복원하고 경계 정확도를 높인다.
• 더 강력한 백본으로 GateNet의 성능이 추가로 향상되며, 표준 하드웨어에서 실시간 속도(약 30fps)로 실행된다.