[논문 리뷰] A Simple Pooling-Based Design for Real-Time Salient Object Detection

Jiangjiang Liu, Qibin Hou외 3명|arXiv (Cornell University)|2019. 04. 21.

Visual Attention and Saliency Detection참고 문헌 48인용 수 4

한 줄 요약

이 논문은 U-모양 컨볼루션 신경망 아키텍처에서 풀링의 역할을 재고함으로써 특징 정제를 향상시키는 두 가지 풀링 기반 모듈을 사용하는 실시간 주목 객체 검출 모델인 PoolNet을 제안한다: 상향식 의미 정보 전파를 위한 전역 가이던스 모듈(GGM)과 굵은 및 미세한 특징을 융합하기 위한 특징 융합 모듈(FAM). 이 방법은 300×400 이미지에서 30 FPS 이상의 실시간 추론 속도를 기록하며, 정확도와 세부 정보 유지 측면에서 이전 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

We solve the problem of salient object detection by investigating how to expand the role of pooling in convolutional neural networks. Based on the U-shape architecture, we first build a global guidance module (GGM) upon the bottom-up pathway, aiming at providing layers at different feature levels the location information of potential salient objects. We further design a feature aggregation module (FAM) to make the coarse-level semantic information well fused with the fine-level features from the top-down pathway. By adding FAMs after the fusion operations in the top-down pathway, coarse-level features from the GGM can be seamlessly merged with features at various scales. These two pooling-based modules allow the high-level semantic features to be progressively refined, yielding detail enriched saliency maps. Experiment results show that our proposed approach can more accurately locate the salient objects with sharpened details and hence substantially improve the performance compared to the previous state-of-the-arts. Our approach is fast as well and can run at a speed of more than 30 FPS when processing a $300 imes 400$ image. Code can be found at http://mmcheng.net/poolnet/.

연구 동기 및 목표

• U-모양 컨볼루션 신경망 아키텍처에서 풀링의 역할을 재고함으로써 주목 객체 검출을 향상시키기 위해.
• 특징 피라미드 네트워크의 상향식 경로에서 고수준 의미 정보의 흐려짐 문제를 해결하기 위해.
• 풀링 기반 메커니즘을 사용하여 굵은 의미 특징과 세밀한 세부 정보 간의 특징 융합을 향상시키기 위해.
• 정확도를 희생시키지 않고 실시간 추론 속도를 달성하기 위해.
• 경계 검출과의 동시 학습을 탐색하여 주목 맵 경계의 선명도를 높이기 위해.

제안 방법

• 전역 가이던스 모듈(GGM)은 백본의 상단에 수정된 피라미드 풀링 모듈(PPM)을 사용하여 전역적 맥락을 캡처하고, 모든 특징 수준에 전역 가이던스 플로우(GGF)를 생성한다.
• GGF는 깊은 층에서 浅층으로 고수준 의미 정보를 전달하여, 표준 U-모양 네트워크에서 위치 신호의 흐려짐을 보완한다.
• 특징 융합 모듈(FAM)은 상향식 경로의 융합 이후에 삽입되어, 풀링을 통해 다중 척도 맥락을 캡처함으로써 융합된 특징을 재가중하고 정제한다.
• FAM은 융합된 특징을 다중 특징 공간으로 변환하여 굵은 의미 정보와 다중 척도 특징을 더 잘 조합한다.
• 경계 선명도 향상을 위해, 모델은 엣지 검출 분기와 함께 또는 없이 엔드 투 엔드로 훈련된다.
• 아키텍처는 플러그 앤 플레이이며, 어떤 피라미드 기반 CNN 백본과도 호환된다.

실험 결과

연구 질문

• RQ1 풀링 기법은 다운샘플링을 초월하여 주목 객체 검출에서 특징 표현을 향상시키기 위해 체계적으로 확장될 수 있는가?
• RQ2 신호 손실 없이 고수준 의미 정보를 얕은 층으로 효과적으로 전파할 수 있는가?
• RQ3 풀링 기반 메커니즘을 사용하여 굵은 의미 맵과 세밀한 특징 간의 특징 융합을 향상시킬 수 있는가?
• RQ4 경계 검출과의 동시 학습이 예측된 주목 맵의 품질과 선명도를 향상시키는가?
• RQ5 간단한 풀링 기반 설계로도 최신 기술 수준의 성능을 달성하면서 실시간 추론 속도를 유지할 수 있는가?

주요 결과

• PoolNet는 F-측정과 MAE 측면에서 여섯 개의 벤치마크 데이터셋에서 최고 성능을 기록하며, 이전 최고 기록을 모두 초월했다.
• DUT-OMRON 데이터셋에서 ResNet-50를 사용한 PoolNet은 F-측정 0.925와 MAE 0.034를 기록했으며, 이는 이전 최고 기록보다 F-측정에서 1.5% 이상 높은 성능이다.
• 300×400 이미지에서 30 FPS 이상의 속도로 실행되며, 이는 이전 방법들(예: PiCANet의 7 FPS)보다 뚜렷하게 빠르다.
• HKU-IS 데이터셋에서 표준 엣지 검출과의 동시 학습은 MAE를 최대 12%까지 감소시켜 경계 정렬 향상을 입증했다.
• 절단 실험 결과, GGM과 FAM 모두 성능 향상에 기여하며, GGM은 전역 맥락 캡처에 핵심 역할을 하고 FAM는 다중 척도 융합에 기여한다.
• ResNet-50를 사용할 경우 5,000장의 이미지로 6시간 이내에 훈련이 완료되며, 효율적인 풀링 기반 설계 덕분에 대부분의 이전 방법보다 빠르다.