[논문 리뷰] Towards Latency-aware DNN Optimization with GPU Runtime Analysis and Tail Effect Elimination

Fuxun Yu, Zirui Xu외 13명|arXiv (Cornell University)|2020. 11. 08.

Advanced Neural Network Applications참고 문헌 19인용 수 4

한 줄 요약

이 논문은 GPU 런타임 인식 DNN 최적화 방법론을 제안하며, 비효율적인 스레드 블록 스케줄링과 활용도 저하로 인한 GPU 테일 효과를 GPU 실행 패턴의 풀스택 분석을 통해 식별하고 제거한다. GPU 웨이브 수준 실행에 맞게 DNN 모델 설정을 조정함으로써, 고성능 및 임베디드 GPU 모두에서 SOTA 프루닝 및 NAS 방법에 비해 평균 11%~27%의 지연 감소와 2.5%~4.0%의 정확도 향상을 달성한다.

ABSTRACT

Despite the superb performance of State-Of-The-Art (SOTA) DNNs, the increasing computational cost makes them very challenging to meet real-time latency and accuracy requirements. Although DNN runtime latency is dictated by model property (e.g., architecture, operations), hardware property (e.g., utilization, throughput), and more importantly, the effective mapping between these two, many existing approaches focus only on optimizing model property such as FLOPS reduction and overlook the mismatch between DNN model and hardware properties. In this work, we show that the mismatch between the varied DNN computation workloads and GPU capacity can cause the idle GPU tail effect, leading to GPU under-utilization and low throughput. As a result, the FLOPs reduction cannot bring effective latency reduction, which causes sub-optimal accuracy versus latency trade-offs. Motivated by this, we propose a GPU runtime-aware DNN optimization methodology to eliminate such GPU tail effect adaptively on GPU platforms. Our methodology can be applied on top of existing SOTA DNN optimization approaches to achieve better latency and accuracy trade-offs. Experiments show 11%-27% latency reduction and 2.5%-4.0% accuracy improvement over several SOTA DNN pruning and NAS methods, respectively

연구 동기 및 목표

• 하드웨어-소프트웨어 불일치로 인해 이론적 FLOPs 감소와 실제 런타임 지연 감소 간 격차를 해소하기 위해.
• FLOPs 감소에도 불구하고 지연 감소가 일관되지 않은 이유를 특정적으로 GPU 테일 효과(부적절한 스레드 스케줄링에서 기인)로 규명하기 위해.
• DNN 모델 구조를 GPU 런타임 특성에 맞게 조정하여 지연과 정확도의 트레이드오���을 향상시키는 방법론을 개발하기 위해.
• 고성능 및 임베디드 시스템을 포함한 다양한 GPU 플랫폼으로 이 방법론을 일반화하기 위해.

제안 방법

• 개별 GPU 코어와 스레드를 분석함으로써 GPU 런타임 전체를 분석하여 지연 증가의 근본 원인을 밝혀내는 것.
• GPU 테일 효과를 스레드 블록 크기와 커널 실행 패턴이 맞지 않아 발생하는 비효율적 웨이브 수준 GPU 실행으로 재정의하는 것.
• 모델 구조를 재구성함으로써 GPU 웨이브 경계에 맞추고 활용도를 향상시키기 위해 스레드 적응형 DNN 배포 기법을 제안하는 것.
• DNN 레이어 설정을 최적의 GPU 실행 사이클에 매핑하는 GPU 효율성 가이드라인을 도입하여 유휴 사이클과 스루풋 변동을 최소화하는 것.
• GPU 전용 코드 수정 없이 기존 SOTA DNN 최적화 기법(예: 프루닝, NAS)에 이 방법론을 적용하는 것.
• VGG16, ResNet56 등의 다양한 DNN과 P6000, Jetson Nano 등의 GPU 플랫폼에서 검증하여 일반화 능력을 입증하는 것.

실험 결과

연구 질문

• RQ1 왜 DNN 추론에서 GPU에서 FLOPs 감소가 항상 지연 감소로 이어지지 않는가?
• RQ2 DNN 모델 프루닝 및 재구성 과정에서 관찰되는 비선형적 '지연 단계 패턴'의 원인은 무엇인가?
• RQ3 DNN 추론 중 GPU 하드웨어 활용도와 스루풋은 어떻게 변동하는가? 이는 성능 저하에 어떤 역할을 하는가?
• RQ4 모델 수준의 설정 조정을 통해 GPU 테일 효과를 체계적으로 식별하고 완화할 수 있는가?
• RQ5 제안된 최적화 방법론은 다양한 GPU 플랫폼과 DNN 아키텍처로 얼마나 일반화될 수 있는가?

주요 결과

• 지연 단계 패턴—FLOPs 감소에도 불구하고 지연 감소가 일관되지 않은 현상—는 배치 크기, 입력 해상도, 필터 형상, 필터 수의 변화에 관계없이 지속된다.
• GPU 테일 효과는 비효율적인 스레드 블록 스케줄링과 웨이브 수준 GPU 실행으로 인해 발생하며, FLOPs 감소 시에도 유휴 사이클과 활용도 저하를 초래한다.
• P6000 GPU에서 이 방법론은 VGG16에 대해 27.2%의 지연 감소, ResNet56에 대해 9.0%의 지연 감소를 달성하면서 정확도를 유지하거나 略로 향상시킨다.
• Jetson Nano 임베디드 GPU에서 이 방법론은 VGG16에 대해 20.5%의 지연 감소, ResNet56에 대해 13.3%~17.1%의 지연 감소를 달성하여 뛰어난 플랫폼 간 일반화 능력을 입증한다.
• 이 방법론은 SOTA 프루닝 및 NAS 방법에 비해 정확도-지연 트레이드오프를 2.5%~4.0% 향상시키며, 후처리 최적화 계층으로 적용된 경우에도 효과를 발휘한다.
• 지연 단계 패턴은 필터 수가 많고 배치 크기가 큰 밀도 높은 컨볼루션 레이어에서 가장 두드러지지만, 경량 디프스와이즈 컨볼루션에서는 완화된다.