[논문 리뷰] Deep Reasoning with Multi-Scale Context for Salient Object Detection

Zun Li, Congyan Lang외 3명|arXiv (Cornell University)|2019. 01. 24.

Visual Attention and Saliency Detection참고 문헌 50인용 수 12

한 줄 요약

이 논문은 다중 확장 깊이 합성곱을 기반으로 한 깊이 있고 가벼운 주목도 추론 모듈을 제안하여 주목할 만한 객체 검출을 향상시킨다. 이전에 간과되었던 추론 헤드의 추론 능력 향상을 중심으로 복잡한 백본 대신에 접근함으로써, 더 낮은 계산 비용으로도 최신 기술 수준(SOTA) 성능을 달성하며, 여러 벤치마크에서 기존 모델을 능가한다.

ABSTRACT

To detect salient objects accurately, existing methods usually design complex backbone network architectures to learn and fuse powerful features. However, the saliency inference module that performs saliency prediction from the fused features receives much less attention on its architecture design and typically adopts only a few fully convolutional layers. In this paper, we find the limited capacity of the saliency inference module indeed makes a fundamental performance bottleneck, and enhancing its capacity is critical for obtaining better saliency prediction. Correspondingly, we propose a deep yet light-weight saliency inference module that adopts a multi-dilated depth-wise convolution architecture. Such a deep inference module, though with simple architecture, can directly perform reasoning about salient objects from the multi-scale convolutional features fast, and give superior salient object detection performance with less computational cost. To our best knowledge, we are the first to reveal the importance of the inference module for salient object detection, and present a novel architecture design with attractive efficiency and accuracy. Extensive experimental evaluations demonstrate that our simple framework performs favorably compared with the state-of-the-art methods with complex backbone design.

연구 동기 및 목표

• 주목할 만한 객체 검출에서 간과되었던 핵심 성능 저하 요인인 주목도 추론 모듈의 제한된 능력을 특정하고 해결하는 것.
• 모델 복잡도를 증가시키지 않고도 추론 헤드의 추론 능력을 향상시켜 주목도 검출 성능을 향상시키는 것.
• 다중 척도 특징을 활용하여 우수한 추론과 예측을 가능하게 하는 계산 효율적인 아키텍처를 설계하는 것.
• 복잡한 백본과 특징 융합을 갖춘 모델보다 잘 설계된 추론 모듈이 더 우수한 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 장거리 문맥적 의존성을 포착하기 위해 스택된 다중 확장 깊이 합성곱 레이어 기반의 깊이 있는 주목도 추론 모듈을 도입한다.
• 낮은 파라미터 수와 계산 비용을 유지하면서 깊은 추론 능력을 가능하게 하기 위해 깊이 합성곱과 포인트 와이즈 그룹 합성곱을 활용한다.
• 백본 네트워크(예: VGG, ResNet)에서 유래한 다중 척도 특징을 융합하기 위해 상향식 특징 융합 경로와 횡방향 연결을 사용한다.
• 정련된 특징에서 최종 주목도 맵을 생성하기 위해 마지막으로 1×1 합성곱을 적용한다.
• 기존 연구에서 흔히 볼 수 있는 浅층 추론 헤드를 피하고, 융합된 다중 척도 특징을 직접 추론하도록 모듈을 설계한다.
• 특징 추출에서 추론 모듈을 분리함으로써, 표준 백본 네트워크와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 기존 주목도 검출 프레임워크에서 주목도 추론 모듈이 핵심 성능 저하 요인인가?
• RQ2 더 깊고 더 강력한 추론 모듈은 계산 비용을 증가시키지 않고도 검출 정확도를 향상시킬 수 있는가?
• RQ3 깊이 합성곱에서의 다중 확장 기법이 다중 척도 특징에 대한 추론 능력을 어떻게 향상시키는가?
• RQ4 추론 모듈의 깊이를 증가시키는 것이 검출 성능과 효율성에 어떤 영향을 미치는가?
• RQ5 간단하고 가벼운 아키텍처가 더 깊은 백본과 광범위한 감독을 갖춘 복잡한 모델을 능가할 수 있는가?

주요 결과

• VGG 백본을 사용한 DUT-OMRON 데이터셋에서 제안된 SRNet-R 모델은 HFS보다 2.6% 높은 Fβ-max 점수를 기록했고, BPS보다는 5.6% 높았다.
• 도전적인 SOD 및 DUT-OMRON 데이터셋에서 SRNet-R는 SRNet-V를 상당한 격차로 앞서며, 다중 확장 기법의 효과를 입증했다.
• 추론 모듈의 깊이를 1에서 24층으로 늘린 SRNet-R은 DUTS-Test에서 F-측정치를 최대 1.5% 향상시켜, 더 깊은 추론이 성능 향상에 기여함을 보였다.
• 깊이 합성곱과 그룹 합성곱 덕분에, 더 깊은 아키텍처임에도 불구하고 기준 모델과 유사한 추론 속도(480×320 이미지당 약 0.27초)를 유지했다.
• 시각적 결과에서는 전체 SRNet 모델이 경계 근처에 있거나 배경과 대비가 낮은 객체에 대해 더 완전하고 정확한 주목도 맵을 생성하는 것으로 나타났다.
• 제거 실험 결과, 추론 모듈 자체가 성능 향상에 기여하는 바가 크며, 확장 기법이 없는 BFR은 HFS와 BPS를 능가했고, 확장 기법을 적용한 SRNet은 더 나은 성능을 기록했다.