[논문 리뷰] Densely Nested Top-Down Flows for Salient Object Detection

Chaowei Fang, Haibin Tian외 4명|arXiv (Cornell University)|2021. 02. 18.

Visual Attention and Saliency Detection인용 수 5

한 줄 요약

이 논문은 Densely Nested Top-Down Flows (DNTDF)를 제안하며, 이는 점진적 압축 단순 경로(Progressive Compression Shortcut Paths, PCSPs)를 통해 상향식 특징 전파를 향상시켜 의미 특징 재사용을 강화하고 기울기 소실을 완화하는 새로운 경량 색채 객체 검출 프레임워크이다. EfficientNet과 통합된 DNTDF는 DUTS-TE에서 F3-Net보다 30.48% 적은 FLOPs를 사용하면서도 여섯 개의 벤치마크 데이터셋에서 높은 정확도를 유지하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the goal of identifying pixel-wise salient object regions from each input image, salient object detection (SOD) has been receiving great attention in recent years. One kind of mainstream SOD methods is formed by a bottom-up feature encoding procedure and a top-down information decoding procedure. While numerous approaches have explored the bottom-up feature extraction for this task, the design on top-down flows still remains under-studied. To this end, this paper revisits the role of top-down modeling in salient object detection and designs a novel densely nested top-down flows (DNTDF)-based framework. In every stage of DNTDF, features from higher levels are read in via the progressive compression shortcut paths (PCSP). The notable characteristics of our proposed method are as follows. 1) The propagation of high-level features which usually have relatively strong semantic information is enhanced in the decoding procedure; 2) With the help of PCSP, the gradient vanishing issues caused by non-linear operations in top-down information flows can be alleviated; 3) Thanks to the full exploration of high-level features, the decoding process of our method is relatively memory efficient compared against those of existing methods. Integrating DNTDF with EfficientNet, we construct a highly light-weighted SOD model, with very low computational complexity. To demonstrate the effectiveness of the proposed model, comprehensive experiments are conducted on six widely-used benchmark datasets. The comparisons to the most state-of-the-art methods as well as the carefully-designed baseline models verify our insights on the top-down flow modeling for SOD. The code of this paper is available at https://github.com/new-stone-object/DNTD.

연구 동기 및 목표

• 기존 색채 객체 검출(SOD) 프레임워크에서 상향식 의미 정보의 낭비를 해결하기 위해.
• 비선형 연산이 포함된 디코더 단계에서 역전파 동안 기울기 소실을 줄이기 위해.
• 모델 복잡도를 증가시키지 않고도 고수준 의미 특징을 재사용하는 메모리 효율적인 디코딩 아키텍처를 설계하기 위해.
• 특히 EfficientNet과 같은 효율적인 백본과 결합했을 때 최소한의 계산 비용으로 최신 기술 수준의 SOD 성능을 달성하기 위해.

제안 방법

• 고수준 특징을 인코더에서 모든 디코더 단계로 전파하기 위해 밀도 높은 중첩된 상향식 흐름(DNTDF)을 도입하며, 이를 위해 점진적 압축 단순 경로(PCSPs)를 활용한다.
• 비선형 연산 없이 고수준 특징을 압축하고 전송함으로써 역전파 중 기울기 소실을 감소시킨다.
• 고수준 특징에서 전역적 맥락을 추출하기 위해 피라미드 풀링 모듈(PPM)을 사용하여 의미 표현을 강화한다.
• 압축된 고수준 특징을 재사용함으로써 경량 디코더를 설계하여 FLOPs와 파라미터를 최소화한다.
• DNTDF 모듈을 EfficientNet 백본과 통합하여 매우 효율적인 SOD 모델을 구축한다.
• 백본 특징의 부족함을 줄이기 위해 최대 16까지의 점진적 압축 비율을 적용한다.

실험 결과

연구 질문

• RQ1 고수준 인코더 레이어에서 유도된 상향식 의미 특징을 어떻게 더 효과적으로 하위 레벨의 디코더 레이어로 전파할 수 있는가?
• RQ2 점진적 압축 단순 경로(PCSPs)가 SOD 디코더에서 역전파 중 기울기 소실을 완화하는 데 기여하는가?
• RQ3 고수준 특징 재사용은 성능을 훼손하지 않으면서 SOD 모델의 계산 복잡도를 어느 정도 줄일 수 있는가?
• RQ4 다양한 벤치마크에서 제안된 DNTDF 프레임워크는 기존 SOD 방법들과 정확도와 효율성 측면에서 어떻게 비교되는가?

주요 결과

• DUTS-TE 데이터셋에서 EfficientNet-B3를 사용한 DNTDF는 S-측정 값이 0.892를 기록하며 F3-Net보다 0.007 높고, FLOPs는 그의 30.48%에 불과하다.
• ResNet50를 사용할 경우, DNTDF는 F3-Net보다 약간 높은 Fmax(0.856 대 0.855)를 기록하며 FLOPs가 2.915G 감소한다.
• DUT-O에서 DNTDF는 더 작은 백본과 더 적은 파라미터를 사용함에도 불구하고 MAE를 CSNet 대비 9.62% 감소시켰다.
• EfficientNet-B3를 백본으로 사용할 때조차 DNTDF의 디코더가 F3-Net, ITSD, CSF, MINet보다 훨씬 적은 FLOPs를 소비한다.
• 제거 실험을 통해 PCSPs와 PPM이 성능 향상에 기여한다는 것이 확인되었다: PPM이 포함된 상태에서 4개의 PCSPs를 사용할 경우 Fmax가 0.011 향상된다.
• 인코더 특징에 압축 비율을 최대 16까지 적용해도 성능 저하가 거의 없으며, 이는 정확도 손실 없이 경량 설계를 가능하게 한다.