[논문 리뷰] Latency-aware Spatial-wise Dynamic Networks

Yizeng Han, Zhihang Yuan외 5명|arXiv (Cornell University)|2022. 10. 12.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 알고리즘 설계와 스케줄링 전략을 다중 코어 GPU 환경에 맞게 최적화하여, 경량화된 공간적 가변 추론과 하드웨어 인식 지연 예측기의 공동 설계를 통해 실질적인 추론 효율성을 향상시키는 지연 인식 공간 가변 동적 네트워크인 LASNet을 제안한다. ResNet-101의 경우 Tesla V100에서 36% 감소하고 Jetson TX2에서 46% 감소한 지연 시간을 기록하였으며, 정확도 손실 없이 성능 향상을 달성하였다.

ABSTRACT

Spatial-wise dynamic convolution has become a promising approach to improving the inference efficiency of deep networks. By allocating more computation to the most informative pixels, such an adaptive inference paradigm reduces the spatial redundancy in image features and saves a considerable amount of unnecessary computation. However, the theoretical efficiency achieved by previous methods can hardly translate into a realistic speedup, especially on the multi-core processors (e.g. GPUs). The key challenge is that the existing literature has only focused on designing algorithms with minimal computation, ignoring the fact that the practical latency can also be influenced by scheduling strategies and hardware properties. To bridge the gap between theoretical computation and practical efficiency, we propose a latency-aware spatial-wise dynamic network (LASNet), which performs coarse-grained spatially adaptive inference under the guidance of a novel latency prediction model. The latency prediction model can efficiently estimate the inference latency of dynamic networks by simultaneously considering algorithms, scheduling strategies, and hardware properties. We use the latency predictor to guide both the algorithm design and the scheduling optimization on various hardware platforms. Experiments on image classification, object detection and instance segmentation demonstrate that the proposed framework significantly improves the practical inference efficiency of deep networks. For example, the average latency of a ResNet-101 on the ImageNet validation set could be reduced by 36% and 46% on a server GPU (Nvidia Tesla-V100) and an edge device (Nvidia Jetson TX2 GPU) respectively without sacrificing the accuracy. Code is available at https://github.com/LeapLabTHU/LASNet.

연구 동기 및 목표

• 공간적 가변 동적 네트워크에서 이론적 FLOPs와 실질적 추론 지연 간 격차를 해결한다.
• GPU와 같은 다중 코어 프로세서에서 비연속 메모리 접근과 최적화되지 않은 스케줄링으로 인해 발생하는 세밀한 픽셀 수준의 가변 추론의 비효율성을 극복한다.
• 다양한 하드웨어 플랫폼과 딥러닝 작업에 걸쳐 일반화 가능한 프레임워크를 개발한다.
• 지연 예측을 알고리즘 설계 및 스케줄링 전략에 통합하여 동적 네트워크의 효율적 배포를 이끌어내는 데 목표를 둔다.
• 이미지 분류, 객체 검출, 인스턴스 세그멘테이션 벤치마크에서 정확도를 유지하면서도 실질적인 속도 향상을 달성한다.

제안 방법

• 알고리즘 설계, 스케줄링 전략, 하드웨어 특성을 종합적으로 고려하여 추론 지연을 동시 추정하는 지연 예측 모델을 제안한다.
• 세분화된 공간적 가변 추론을 도입하여 픽셀 단위가 아닌 특징 패치 단위로 계산을 할당함으로써 메모리 접근의 연속성을 향상시킨다.
• 입력 콘텐츠에 따라 계산이 필요한 특징 패치를 예측하기 위한 학습 가능한 마스커 모듈을 설계한다.
• 동적 연산자에 대한 스케줄링 및 커널 구현을 최적화하여 GPU의 병렬 처리 능력과 메모리 계층을 더 효과적으로 활용한다.
• 학습 과정에서 지연 예측기를 활용하여 타겟 하드웨어에 맞는 효율적인 계산 패턴을 학습할 수 있도록 네트워크를 이끌어낸다.
• 다양한 CNN 백본(예: ResNet, DenseNet, RegNet)에 프레임워크를 통합하여 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 왜 이론적 FLOPs는 GPU에서 공간적 가변 동적 네트워크의 실질적 추론 지연을 예측하지 못하는가?
• RQ2 공간적 가변 추론의 정밀도(픽셀 수준 대 패치 수준)가 다중 코어 프로세서에서 실질적 지연에 어떤 영향을 미치는가?
• RQ3 하드웨어 인식 지연 예측기가 다양한 기기 간 효율적인 동적 네트워크 설계를 효과적으로 이끌 수 있는가?
• RQ4 세분화된 공간적 적응이 정확도 손실 없이 실질적 추론 속도를 얼마나 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 다양한 딥러닝 작업과 백본 아키텍처로 일반화 가능한가?

주요 결과

• LASNet은 ImageNet에서 정확도 저하 없이 NVIDIA Tesla V100에서 ResNet-101의 추론 지연을 36% 감소시키고, NVIDIA Jetson TX2에서 46% 감소시켰다.
• COCO 객체 검출에서 0.4의 학습 목표를 가진 LAS-ResNet-101은 Faster R-CNN에서 40.0% mAP, RetinaNet에서 39.3% mAP를 달성하였으며, 정적 기준선 대비 25–30% 낮은 지연 시간을 기록하였다.
• 인스턴스 세그멘테이션에서 LAS-ResNet-101은 0.5의 학습 목표를 가졌을 때 기준선 대비 AP^mask를 0.9% 향상시키고 AP^box를 1.0% 향상시키며 동시에 더 빠른 추론 속도를 유지하였다.
• 지연 예측기는 다양한 하드웨어, 서버용 및 엣지용 GPU를 포함하여 정확한 지연 시간 예측을 가능하게 하여 하드웨어 인식 모델 설계를 지원한다.
• 세분화된 공간적 적응은 메모리 접근 패턴을 크게 향상시켜 픽셀 수준의 결정보다 GPU 병렬 처리 능력을 더 효과적으로 활용할 수 있도록 한다.
• 프레임워크는 일반화 가능하다: 이미지 분류, 객체 검출, 인스턴스 세그멘테이션 등 다양한 백본과 작업에 적용되었을 때 일관된 효율성 향상을 보였다.