[논문 리뷰] Structured Deep Neural Network Pruning via Matrix Pivoting

Ranko Sredojević, Shaoyi Cheng외 3명|arXiv (Cornell University)|2017. 12. 01.

Neural Networks and Applications참고 문헌 11인용 수 8

한 줄 요약

이 논문은 깊이 신경망을 위한 구조적 프루닝 방법을 제안하며, 행렬 피벗을 사용해 치환 블록-치환(PBP) 형식을 생성함으로써 엣지 GPU에서 효율적인 희소 행렬-벡터 곱셈을 가능하게 한다. 이 방법은 감소된 계수를 통해 거의 선형적 성능 향상을 달성하며, 메모리 대역폭 활용도를 향상시켜 제조사 최적화 라이브러리보다 뛰어난 성능을 발휘한다. 하드웨어에 맞는 최적화를 가능하게 한다.

ABSTRACT

Deep Neural Networks (DNNs) are the key to the state-of-the-art machine vision, sensor fusion and audio/video signal processing. Unfortunately, their computation complexity and tight resource constraints on the Edge make them hard to leverage on mobile, embedded and IoT devices. Due to great diversity of Edge devices, DNN designers have to take into account the hardware platform and application requirements during network training. In this work we introduce pruning via matrix pivoting as a way to improve network pruning by compromising between the design flexibility of architecture-oblivious and performance efficiency of architecture-aware pruning, the two dominant techniques for obtaining resource-efficient DNNs. We also describe local and global network optimization techniques for efficient implementation of the resulting pruned networks. In combination, the proposed pruning and implementation result in close to linear speed up with the reduction of network coefficients during pruning.

연구 동기 및 목표

• 모바일 및 IoT 시스템과 같은 자원 제약이 있는 엣지 디바이스에 계산 부담이 큰 딥 뉴럴 네트워크(DNN)를 구현하는 데 도전하는 문제를 해결한다.
• DNN 프루닝에서 흔히 발생하는 중간 정도의 희소성(5–25% 필린)을 다룰 때 일반적인 희소 행렬 라이브러리의 비효율성을 극복한다.
• 아키텍처에 종속되지 않는 프루닝과 아키텍처에 맞는 최적화 사이의 격차를 메우기 위해, 하드웨어 실행 패턴과 호환되는 구조적 희소성 모델을 도입한다.
• 단일 레이어 및 다중 레이어 FC 레이어를 최적화하여 현대 임베디드 및 모바일 GPU에서 효율적이고 저지연 추론을 가능하게 한다.
• 행렬 피벗 기반의 구조적 희소성이 모델 정확도를 유지하면서도 추론 속도를 크게 향상시킨다는 것을 입증한다.

제안 방법

• 희소 가중치 행렬을 블록으로 재구성하여 구조적 희소성을 갖는 PBP(치환-블록-치환) 행렬 표현 방식을 도입하여 비정규적 메모리 액세스를 최소화한다.
• 프루닝 과정에서 정적 행렬 피벗을 적용하여 임의의 희소 가중치 행렬을 PBP 형식으로 변환함으로써 GPU 실행을 효율적으로 가능하게 한다.
• PBP 구조를 활용해 단일 레이어 FC 레이어의 국소 최적화 전략을 설계하여 메모리 액세스 오버헤드를 감소시킨다.
• 연속된 FC 레이어 간에 PBP 구조를 유지하는 다중 레이어 컴파일러 최적화 기법을 개발하여 레이어 간 메모리 액세스 코ales싱을 가능하게 한다.
• NVIDIA Jetson TX1 및 ARM Mali T880와 같은 현대 GPU 아키텍처에 최적화된 PBP 형식의 희소 행렬-벡터 곱셈(gemv)을 위한 커스텀 커널을 구현한다.
• 성능 비교를 위한 기준으로 제조사 최적화 라이브러리(cuBLAS, cuSPARSE, Arm Compute Library)를 사용한다.

실험 결과

연구 질문

• RQ1 행렬 피벗 기반의 구조적 희소성이 엣지 GPU에서 추론 시 거의 선형적 성능 향상을 이끌 수 있을까? 이때 모델 정확도는 유지되는가?
• RQ2 표준 희소 형식인 CSR나 BRC와 비교해 PBP 표현 방식은 메모리 대역폭 활용도를 어떻게 향상시키는가?
• RQ3 작은 크기 또는 매우 희소한 행렬에서 PBP 변환의 치환 오버헤드가 성능에 미치는 영향은 어느 정도인가?
• RQ4 실제 엣지 추론 환경에서 PBP 기반 프루닝 및 최적화 전략이 제조사 최적화된 밀집 및 희소 선형 대수 라이브러리보다 뛰어난 성능을 발휘할 수 있는가?
• RQ5 학습 단계에서 PBP 구조를 도입할 경우, MNIST 및 CIFAR-10과 같은 표준 비전 벤치마크에서 정확도 저하가 심각하게 발생하는가?

주요 결과

• PBP 기반 접근법은 NVIDIA Jetson TX1 및 ARM Mali T880에서 모두 계수 감소와 함께 거의 선형적 성능 향상을 달성하였으며, 4096×4096 행렬 크기와 3.125% 필린에서 cuBLAS 대비 최대 14.09배, cuSPARSE 대비 9.26배의 성능 향상을 기록했다.
• Jetson TX1에서 PBP gemv 커널은 로드 및 스토어 효율도 100%를 달성하여 밀집 행렬 곱셈과 동일한 성능을 보였으며, 표준 CSR 형식은 오직 12.5%의 스토어 효율도를 기록했다.
• 필린 요소가 6.25%–12.5%이고 행렬 크기가 ≥128×128일 경우, 치환 오버헤드는 무시할 만큼 낮아(커널 시간의 ≤50% 이내) 일반적인 FC 레이어 희소성에 대해 실용적인 방법이 되었다.
• MNIST에서는 PBP 프루닝이 원래 네트워크 정확도의 100%를 유지하였으며, CIFAR-10에서는 정확도 저하가 0.5% 이내로 유지되어 성능 손실이 최소화됨을 입증했다.
• PBP 형식은 특히 6.25%–25% 필린 범위에서 제조사 라이브러리보다 뚜렷한 성능 향상을 이끌어내었으며, 이 범위에서 일반적인 희소 라이브러리가 비효율적인 메모리 액세스 패턴으로 인해 성능이 떨어지기 때문이다.
• 자원 활용도 측정 결과, PBP 커널은 GPU에서 로드 및 스토어 효율도를 100%로 달성하여 CSR(12.5% 스토어 효율도) 및 BRC(12.52% 로드 효율도) 형식을 뛰어넘었다.