[논문 리뷰] SBNet: Sparse Blocks Network for Fast Inference

Mengye Ren, Andrei Pokrovsky외 2명|arXiv (Cornell University)|2018. 01. 07.

Advanced Neural Network Applications참고 문헌 34인용 수 15

한 줄 요약

SBNet는 계산 마스크(예: 도로 지도 또는 예측된 주의 맵) 내 구조적 공간 희소성을 활용하여 타일 기반의 희소 컨볼루션 알고리즘을 제안한다. 이로 인해 정밀도를 유지한 채 3D 객체 검출의 월클럭 속도를 크게 향상시킨다. KITTI 벤치마크에서 SBNet는 밀도 기반 추론 대비 2.7배 빠른 성능을 기록하며 정확도 저하가 최소이며, 경량 마스크 네트워크와 조합할 경우 상대적 성능 향상률이 26.6%에 이른다.

ABSTRACT

Conventional deep convolutional neural networks (CNNs) apply convolution operators uniformly in space across all feature maps for hundreds of layers - this incurs a high computational cost for real-time applications. For many problems such as object detection and semantic segmentation, we are able to obtain a low-cost computation mask, either from a priori problem knowledge, or from a low-resolution segmentation network. We show that such computation masks can be used to reduce computation in the high-resolution main network. Variants of sparse activation CNNs have previously been explored on small-scale tasks and showed no degradation in terms of object classification accuracy, but often measured gains in terms of theoretical FLOPs without realizing a practical speed-up when compared to highly optimized dense convolution implementations. In this work, we leverage the sparsity structure of computation masks and propose a novel tiling-based sparse convolution algorithm. We verified the effectiveness of our sparse CNN on LiDAR-based 3D object detection, and we report significant wall-clock speed-ups compared to dense convolution without noticeable loss of accuracy.

연구 동기 및 목표

• 딥 컨볼루션 네트워크의 계산 비용을 줄여 자율 주행과 같은 실시간 응용 분야에 적합하게 하기 위해 특징 맵 내 공간 희소성을 활용한다.
• 이론적 FLOP 감소를 넘어서 GPU에서 실질적인 속도 향상을 제공하는 실용적인 희소 컨볼루션 알고리즘을 설계한다.
• 입력 해상도나 모델 용량을 줄이지 않고도 잔차 네트워크에 희소 추론을 통합한다.
• 정적(도로 지도) 및 동적(예측된) 계산 마스크를 사용하여 라이다 기반 3D 객체 검출에서 방법을 평가한다.
• 희소 추론이 관련 영역에 집중함으로써 속도와 정확도를 동시에 향상시킬 수 있음을 입증한다.

제안 방법

• 계산 마스크를 블록으로 분할하여 GPU 메모리 액세스와 병렬성을 최적화하는 타일 기반의 희소 컨볼루션 알고리즘을 제안한다.
• 기존 지식(예: 도로 지도) 또는 경량 네트워크(예: PSPNet)로부터 유도된 이진 계산 마스크를 사용하여 희소 계산을 유도한다.
• 잔차 블록에 희소 블록을 통합함으로써 잔차 학습을 유지하면서 추론 속도를 향상시킨다.
• 구조적 희소성을 활용하고 메모리 대역폭 압력을 줄이는 최적화된 GPU 커널을 구현하여 희소 컨볼루션 조각을 처리한다.
• 입력 희소성에 영향을 받지 않는 희소 배치 정규화 및 정규화 레이어를 적용하여 효율성과 정확도를 향상시킨다.
• 경량 마스크 예측 네트워크(예: PSPNet)와 희소 추론 모듈을 결합하여 추론 중 동적이고 융통성 있는 희소성을 실현한다.

실험 결과

연구 질문

• RQ1 현대 GPU에서 계산 마스크 내 구조적 공간 희소성을 활용하여 실질적이고 측정 가능한 추론 속도 향상을 이룰 수 있는가?
• RQ2 타일 기반 최적화를 적용한 희소 컨볼루션은 일반적인 희소 컨볼루션 구현 대비 월클럭 속도와 효율성 면에서 뛰어나게 되는가?
• RQ3 낮은 해상도의 마스크를 사용하더라도 희소 추론이 관련 영역에 집중함으로써 정확도 향상을 이룰 수 있는가?
• RQ4 잔차 네트워크에 희소 블록을 통합할 경우 3D 객체 검출에서 속도와 정확도에 어떤 영향을 미치는가?
• RQ5 동적 마스크 생성에 따른 계산 오버헤드는 얼마이며, 전체 시스템은 여전히 의미 있는 속도 향상을 달성할 수 있는가?

주요 결과

• SBNet는 KITTI 3D 검출 벤치마크에서 밀도 기반 기준 대비 평균 2.66배의 속도 향상을 기록했으며, AP는 0.29% 감소에 그친다.
• 도로 지도 마스크를 사용할 경우 SBNet는 1.78배의 속도 향상을 기록했고, AP는 0.31% 향상되어 희소성이 정확도 향상에 기여할 수 있음을 시사한다.
• PSPNet로부터 예측된 마스크를 사용할 경우 SBNet는 2.66배의 속도 향상을 기록했으며, 마스크 네트워크 + SBNet의 병합 시스템은 도로 지도 기반 버전 대비 26.6% 더 빠른 성능을 기록한다.
• 마스크 네트워크(PSPNet)는 100×176 해상도에서 추론 시간이 단 3.2ms이며, 전체 파이프라인 대비 4% 미만의 시간을 차지한다.
• TOR4D 데이터셋에서 도로 마스크를 사용한 SBNet는 1.78배의 속도 향상과 함께 0.31%의 AP 향상을 기록하여, 희소성이 속도와 정확도를 동시에 향상시킬 수 있음을 입증한다.
• 제안된 희소 컨볼루션 커널은 이전의 일반적인 희소 컨볼루션(Sub-M [9])보다 실제 추론 속도에서 뛰어나며, 특히 높은 희소성 수준에서 두각을 나타낸다.