[논문 리뷰] Accelerating Sparse Deep Neural Networks

Asit Mishra, Jorge Albericio Latorre외 6명|arXiv (Cornell University)|2021. 04. 16.

Advanced Neural Network Applications참고 문헌 52인용 수 14

한 줄 요약

이 논문은 NVIDIA의 Ampere GPU 아키텍처에 통합된 스파스 텐서 코어에서 2배 높은 수학 연산 처리량을 달성할 수 있도록 하는 2:4 구조적 희소성 패턴을 소개한다. 밀도 있는 모델을 이 구조적 패턴으로 프루닝하고 고정된 초모수를 사용해 재학습하면, 다양한 아키텍처에서 모델 정확도를 유지하면서도 초모수 조정 없이 하드웨어 가속을 통한 추론을 가능하게 한다.

ABSTRACT

As neural network model sizes have dramatically increased, so has the interest in various techniques to reduce their parameter counts and accelerate their execution. An active area of research in this field is sparsity - encouraging zero values in parameters that can then be discarded from storage or computations. While most research focuses on high levels of sparsity, there are challenges in universally maintaining model accuracy as well as achieving significant speedups over modern matrix-math hardware. To make sparsity adoption practical, the NVIDIA Ampere GPU architecture introduces sparsity support in its matrix-math units, Tensor Cores. We present the design and behavior of Sparse Tensor Cores, which exploit a 2:4 (50%) sparsity pattern that leads to twice the math throughput of dense matrix units. We also describe a simple workflow for training networks that both satisfy 2:4 sparsity pattern requirements and maintain accuracy, verifying it on a wide range of common tasks and model architectures. This workflow makes it easy to prepare accurate models for efficient deployment on Sparse Tensor Cores.

연구 동기 및 목표

• 스파스티드 딥 뉴럴 네트워크에서 높은 모델 정확도와 하드웨어 가속을 동시에 달성하는 데 도전한다.
• 현대 GPU의 행렬 연산 파이프라인을 효과적으로 활용하지 못하는 비구조적 희소성의 한계를 극복한다.
• 정확도 손실 없이 상당한 속도 향상을 이끌 수 있는 실용적이고 하드웨어 인지 희소성 패턴을 개발한다.
• 초모수 조정 없이도 프루닝 후 정확도를 유지할 수 있는 유니버설 트레이닝 워크플로우를 제공한다.
• 텐서 코어 내재 지원을 통해 현대 GPU 하드웨어에서 스파스 모델의 효율적 배포를 가능하게 한다.

제안 방법

• 연속된 네 개의 값이 최소 두 개의 0을 포함하도록 하는 2:4 구조적 희소성 패턴을 제안하여, 효율적인 하드웨어 압축과 연산을 가능하게 한다.
• 메모리 내에서 2:4 희소 텐서를 효율적으로 표현하기 위한 압축 저장 형식을 설계하여 대역폭과 스토리지 요구량을 감소시킨다.
• NVIDIA의 Ampere GPU 아키텍처에 통합된 스파스 텐서 코어를 도입하여, 첫 번째 피연산자가 2:4 희소일 경우 GEMM 연산에서 2배 높은 수학 처리량을 달성한다.
• 두 단계로 구성된 트레이닝 워크플로우를 개발한다: 첫 번째로, 기존에 완전히 학습된 밀도 모델을 크기 기반 기준으로 프루닝하고, 두 번째로, 원래 학습과 동일한 초모수를 사용해 프루닝된 모델을 재학습한다.
• 재학습 중에 2:4 희소성 패턴을 고정 마스크로 적용하여, 동적 희소성 또는 초모수 검색 없이도 하드웨어 호환성을 확보한다.
• ResNet, EfficientNet, BERT, 비전 트랜스포머를 포함한 다양한 모델에 이 워크플로우를 적용하여, 일관된 정확도 유지가 가능함을 입증한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크에서 높은 하드웨어 활용도와 높은 모델 정확도를 동시에 달성할 수 있도록 구조적 희소성 패턴을 설계할 수 있는가?
• RQ2 초모수 조정이나 재최적화 없이도 프루닝 후 정확도를 유지할 수 있는 유니버설 트레이닝 워크플로우를 개발할 수 있는가?
• RQ3 스파스 텐서 코어를 통한 하드웨어 가속이 실제 워크로드에서 성능 향상을 얼마나 달성할 수 있는가? 동시에 정확도를 유지할 수 있는가?
• RQ4 2:4 희소성 패턴을 강제 적용함으로써 현대 GPU 아키텍처에서 상당한 속도 향상을 이룰 수 있는가? 이 과정에서 모델 성능이 손상되지 않는가?
• RQ5 동일한 트레이닝 워크플로우를 다양한 아키텍처와 작업에 대해 수정 없이 일반적으로 적용할 수 있는가?

주요 결과

• 2:4 구조적 희소성 패턴은 GEMM 연산에서 NVIDIA 스파스 텐서 코어에서 2배 높은 수학 처리량을 달성하여, DNN의 추론을 직접 가속한다.
• 제안된 재학습 워크플로우는 ResNet-50, EfficientNet-B0, BERT-Large, 비전 트랜스포머를 포함한 다양한 아키텍처에서 초모수를 변경하지 않고도 정확도를 유지한다.
• ResNet-50에서 표준 채널 프루닝을 사용해 1.5%의 정확도 손실만을 기록했지만, 제안된 워크플로우를 적용함으로써 정확도가 완전히 복구되었다.
• BERT-Large의 경우, 프루닝 및 재학습된 모델이 INT8 양자화 후에도 밀도 모델과 동일한 정확도를 달성하여 혼합 정밀도 추론에 대한 강건성을 입증했다.
• 이 방법은 이미지 분류, 객체 검출, 자연어 이해 등 다양한 작업에서 실험적으로 검증되었으며, 일관된 성능과 정확도를 보였다.
• 초기 결과에 따르면, 동일한 2:4 패턴을 활성화 값에 적용하는 것도 정확도 손실 없이 가능할 것으로 보이며, 이는 가중치를 넘어서 더 넓은 응용 가능성을 시사한다.