[논문 리뷰] Highly Efficient Salient Object Detection with 100K Parameters

Shanghua Gao, Yongqiang Tan외 4명|arXiv (Cornell University)|2020. 03. 12.

Visual Attention and Saliency Detection참고 문헌 91인용 수 12

한 줄 요약

이 논문은 일반화된 옥트컨볼루션(gOctConv) 모듈을 사용하여 스테이지 간 및 레이어 내에서 다중 척도 특징을 탄력적으로 융합할 수 있는 고도로 효율적인 색재 객체 검출 모델인 CSNet을 제안한다. 새로운 동적 가중치 감쇠 기법은 매개변수의 희박성을 증진시켜 성능 저하를 거의 유발하지 않으면서도 매개변수를 80% 감소시킨다. 이로 인해 이미지넷 사전학습 없이도 초기 학습부터 가능하며, SOD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있다.

ABSTRACT

Salient object detection models often demand a considerable amount of computation cost to make precise prediction for each pixel, making them hardly applicable on low-power devices. In this paper, we aim to relieve the contradiction between computation cost and model performance by improving the network efficiency to a higher degree. We propose a flexible convolutional module, namely generalized OctConv (gOctConv), to efficiently utilize both in-stage and cross-stages multi-scale features, while reducing the representation redundancy by a novel dynamic weight decay scheme. The effective dynamic weight decay scheme stably boosts the sparsity of parameters during training, supports learnable number of channels for each scale in gOctConv, allowing 80% of parameters reduce with negligible performance drop. Utilizing gOctConv, we build an extremely light-weighted model, namely CSNet, which achieves comparable performance with about 0.2% parameters (100k) of large models on popular salient object detection benchmarks.

연구 동기 및 목표

• 기존 색재 객체 검출(SOD) 모델의 높은 계산 비용이 저전력 장치에의 배포를 제한하는 문제를 해결하기 위해.
• 네트워크 스테이지 간 및 내부에서 다중 척도 특징을 효율적으로 융합하여 SOD 모델의 중복을 줄이기 위해.
• 특히 매개변수 희박성과 학습 가능한 채널 프루닝을 통해 성능 저하 없이 극한의 모델 압축을 가능하게 하기 위해.
• 이미지넷 사전학습에 의존하지 않고 초기 학습부터 가능한 경량 SOD 모델을 설계하기 위해.
• 최소한의 매개변수로 최신 기술 수준의 성능을 달성하여 엣지 디바이스에서 실시간 추론을 목표로 하기 위해.

제안 방법

• 스테이지 내 및 스테이지 간 특징에서 임의의 수의 척도를 지원하는 유연한 컨볼루션 모듈인 일반화된 옥트컨볼루션(gOctConv)을 제안한다.
• 학습 중 채널 희박성을 안정화시키고 각 척도당 학습 가능한 채널 수를 허용하는 동적 가중치 감쇠 기법을 도입한다.
• 동적 가중치 감쇠를 통해 희박성을 증진시켜 최대 80%의 매개변수 감소를 달성하면서 성능 저하를 최소화한다.
• gOctConv 모듈을 사용하여 이미지넷 사전학습 없이 초기 학습부터 가능한 경량 SOD 모델인 CSNet을 구성한다.
• 더 큰 학습 공간을 탐색하고 압축 모델 품질을 향상시키기 위해 채널 폭 확장을 수행한 후 프루닝을 적용한다.
• 네트워크 깊이 및 해상도 수준에서 특징 활용도를 분석하기 위해 학습된 채널 분포를 시각화한다.

실험 결과

연구 질문

• RQ1 100K개 미만의 매개변수로도 최신 기술 수준의 성능을 유지를 할 수 있는 매우 효율적인 SOD 모델을 구축할 수 있는가?
• RQ2 스테이지 간 및 내부에서 다중 척도 특징 표현을 어떻게 효율적으로 융합하여 중복을 줄일 수 있는가?
• RQ3 동적 가중치 감쇠가 성능 정확도를 유지하면서도 효과적으로 매개변수 희박성을 증진시킬 수 있는가?
• RQ4 이미지넷 사전학습 없이 얼마나 깊이 있는 초기 학습이 가능한가?
• RQ5 제안된 gOctConv 모듈은 표준 또는 일반적인 옥트컨볼루션과 비교해 SOD 작업에서의 유연성과 효율성 측면에서 어떻게 다른가?

주요 결과

• CSNet는 대규모 SOTA 모델의 매개변수 수의 약 0.2%에 불과한 100K개의 매개변수로도 대규모 SOTA 모델와 유사한 성능를 달성한다.
• 동적 가중치 감쇠 기법은 성능 저하를 거의 유발하지 않으면서도 최대 80%의 매개변수 감소를 가능하게 하며, 학습 중 안정적인 희박성을 유지한다.
• 이미지넷 사전학습 없이 초기 학습부터 훈련된 CSNet는 여러 기존의 경량 모델보다 F-측정치에서 뛰어난 성능을 보이며, 다른 작업을 위해 설계된 모델보다 최대 6% 높은 F-측정치를 기록하고 추론 속도는 10배 빠르다.
• 표준 가중치 감쇠 대비 동적 가중치 감쇠를 사용한 모델은 특히 깊은 레이어에서 더 안정적인 채널 분포를 보이며, 채널 분포의 안정성이 높아진다.
• 프루닝 실험 결과, 더 넓은 초기 채널 폭이 더 나은 성능을 내며, 프루닝된 모델는 초기 모델의 성능을 유지하거나 略로 향상시킨다.
• 실행 시간 평가 결과, CSNet는 PiCANet나 PoolNet과 같은 대규모 모델 대비 단일 코어 CPU에서 10배 이상의 속도 향상을 기록한다.