[논문 리뷰] CSPNet: A New Backbone that can Enhance Learning Capability of CNN

Chien-Yao Wang, Hong-Yuan Mark Liao외 4명|arXiv (Cornell University)|2019. 11. 27.

Advanced Neural Network Applications참고 문헌 42인용 수 359

한 줄 요약

tldr: CSPNet은 Cross Stage Partial Networks를 도입하여 중복 그래디언트 정보를 줄이고, 계산량을 최대 ~20%까지 감소시키면서 ImageNet과 MS COCO에서 정확도를 유지하거나 향상시키며 ResNet, ResNeXt, DenseNet에 적용 가능합니다.

ABSTRACT

Neural networks have enabled state-of-the-art approaches to achieve incredible results on computer vision tasks such as object detection. However, such success greatly relies on costly computation resources, which hinders people with cheap devices from appreciating the advanced technology. In this paper, we propose Cross Stage Partial Network (CSPNet) to mitigate the problem that previous works require heavy inference computations from the network architecture perspective. We attribute the problem to the duplicate gradient information within network optimization. The proposed networks respect the variability of the gradients by integrating feature maps from the beginning and the end of a network stage, which, in our experiments, reduces computations by 20% with equivalent or even superior accuracy on the ImageNet dataset, and significantly outperforms state-of-the-art approaches in terms of AP50 on the MS COCO object detection dataset. The CSPNet is easy to implement and general enough to cope with architectures based on ResNet, ResNeXt, and DenseNet. Source code is at https://github.com/WongKinYiu/CrossStagePartialNetworks.

연구 동기 및 목표

• 엣지 디바이스에 적합한 경량 CNN 아키텍처를 동기부여한다.
• 스테이지 간 그래디언트 흐름을 재설계하여 심층 네트워크의 중복 그래디언트 정보를 해결한다.
• 학습 용량을 보존하면서 계산 및 메모리 트래픽을 줄이기 위한 cross-stage partial (CSP) 디자인을 제안한다.
• CSPNet의 ResNet, ResNeXt, DenseNet 백본에의 적용 가능성과 실시간 탐지에 대한 이점을 보여준다.

제안 방법

• 기저 계층 특징 맵을 두 부분으로 분할한다; 하나는 dense block를 통과하고 다른 하나는 이후에 합쳐져 그래디언트 흐름을 다양화한다.
• 부분적인 dense block과 부분적인 transition layer를 사용하여 그래디언트 흐름을 잘라내고 중복 그래디언트 정보를 줄인다.
• Exact Fusion Model (EFM)을 도입하여 객체 탐지를 위한 다중 스케일 특징을 더 잘 집계하고 Maxout 기반 특징 맵 압축을 사용하여 메모리 대역폭을 억제한다.
• ImageNet 및 COCO에서 CSPNet 변형을 시연하고 기준선과 비교하며 FPS, FLOPs, AP 지표를 보고한다.
• 병목 계층 없이 ResNet/ResNeXt/DenseNet에 대한 CSPNet의 적용 가능성을 보여주고 메모리 접근 비용을 줄인다.

실험 결과

연구 질문

• RQ1 CSPNet이 CNN 백본에서 계산 병목 현상과 메모리 트래픽을 줄이면서 정확도 손실 없이 가능할까?
• RQ2 Cross-stage partial 연결을 통한 그래디언트 흐름의 절단이 학습 효율성과 그래디언트 다양성을 향상시킬까?
• RQ3 이미지 분류 및 객체 탐지 과제에서 ResNet, ResNeXt, DenseNet 백본과 결합된 CSPNet의 성능은 어떠한가?
• RQ4 One-stage 탐지기에 대해 Exact Fusion Model (EFM)가 다중 스케일 특징 집합화를 향상시키는가?
• RQ5 CPU 및 모바일 GPU 플랫폼에서 CSPNet의 실시간 추론 영향은 무엇인가?

주요 결과

• CSPNet은 백본 전반에서 ImageNet에서 동일하거나 더 나은 정확도와 함께 약 10–20%의 계산량 감소를 달성한다.
• MS COCO 객체 탐지에서 CSPNet 기반 모델은 기준선에 비해 계산 병목을 크게 줄이고 AP 50을 향상시킨다.
• 일부 구성에서 메모리 트래픽을 최대 75%까지 줄일 수 있다(예: PeleeNet 피처 피라미드 생성).
• Maxout 기반 압축 및 attention 변종이 COCO에서 AP 및 AP 50를 GFM 및 기타 융합 전략 대비 개선한다.
• CSPNet 백본은 눈에 띄는 FLOP 감소를 달성하며(예: CSPResNeXt-50에서 약 22%), ImageNet에서 경쟁력 있거나 향상된 top-1 정확도를 달성한다.
• CSPNet-기반 탐지기는 모델 양자화 없이 GPU, CPU 및 엣지 디바이스에서 우호적인 실시간 성능을 보여준다(예: Jetson TX2, i9-9900K).