[논문 리뷰] HG-Caffe: Mobile and Embedded Neural Network GPU (OpenCL) Inference Engine with FP16 Supporting

Zhuoran Ji|arXiv (Cornell University)|2019. 01. 03.

Advanced Neural Network Applications참고 문헌 13인용 수 4

한 줄 요약

HG-Caffe는 모바일 및 임베디드 디바이스를 위한 GPU 가속, OpenCL 기반의 딥 뉴럴 네트워크 추론 엔진으로, 반정밀도(FP16) 계산을 지원합니다. 이는 CPU 추론 대비 최대 20배의 성능 향상을 이끌어내며, 원래 Caffe 대비 피크 메모리 사용량을 80%로 줄여, Mali 및 Adreno GPU를 탑재한 엣지 AI 플랫폼에서 효율적이고 저전력으로 딥 뉴럴 네트워크를 구동할 수 있도록 합니다.

ABSTRACT

Breakthroughs in the fields of deep learning and mobile system-on-chips are radically changing the way we use our smartphones. However, deep neural networks inference is still a challenging task for edge AI devices due to the computational overhead on mobile CPUs and a severe drain on the batteries. In this paper, we present a deep neural network inference engine named HG-Caffe, which supports GPUs with half precision. HG-Caffe provides up to 20 times speedup with GPUs compared to the original implementations. In addition to the speedup, the peak memory usage is also reduced to about 80%. With HG-Caffe, more innovative and fascinating mobile applications will be turned into reality.

연구 동기 및 목표

• 모바일 및 임베디드 디바이스에서 CPU 기반 딥 뉴럴 네트워크 추론으로 인한 높은 계산 오버헤드와 배터리 소모 문제를 해결하기 위해.
• 모바일 SoC 아키텍처에 널리 지원되는 OpenCL을 활용해, 일반적인 목적의 모바일 GPU에서 효율적인 딥 러닝 추론을 가능하게 하기 위해.
• 모든 신경망 레이어에서 반정밀도(FP16) 산술 연산을 지원하여 처리량을 더욱 향상시키고 메모리 사용량을 줄이기 위해.
• 기존 BVLC Caffe 모델과의 호환성을 유지하기 위해 동일한 가중치 파일 형식과 레이어 정의를 그대로 유지하기 위해.
• 제3자 라이브러리를 제거하여 소프트웨어의 부피와 의존성을 줄이고, 엣지 배포를 위한 이식성과 유지보수성을 향상시키기 위해.

제안 방법

• HG-Caffe는 제3자 라이브러리 의존성을 제거하여 유지보수성과 이식성을 향상시킨 BVLC Caffe의 파생 버전으로 구축됩니다.
• OpenCL을 활용해 Mali 및 Adreno를 포함한 다양한 모바일 GPU 아키텍처에서 GPU 실행을 가능하게 하여 광범위한 하드웨어 호환성을 확보합니다.
• 모든 레이어에서 완전한 FP16 지원을 구현하여 메모리 대역폭 압박과 산술 비용을 감소시키면서도 모델 정확도를 유지합니다.
• 전체 학습 프레임워크와는 달리 순방향 전파 전용 모드로 작동하여 피크 메모리 사용량과 소프트웨어 크기를 크게 줄입니다.
• 기존 BVLC Caffe에서의 사전 훈련된 모델을 재훈련 없이 직접 사용할 수 있도록 가중치 파일 변환기 기능을 포함합니다.
• 커널 실행 및 메모리 접근 패턴 최적화를 통해 모바일 GPU에서의 GPU 활용도와 처리량을 극대화합니다.

실험 결과

연구 질문

• RQ1 일반적인 목적의 딥 러닝 추론 엔진이 CPU 전용 실행 대비 모바일 GPU에서 상당한 성능 향상을 이룰 수 있는가?
• RQ2 모바일 GPU에서 반정밀도(FP16) 산술 연산이 추론 처리량 향상과 메모리 사용 감소에 어느 정도 기여하는가?
• RQ3 다양한 배치 크기에서 스냅드래곤 845와 키파이 970 등의 다양한 모바일 SoC에서 GPU 기반 추론의 성능은 어떻게 달라지는가?
• RQ4 GPU 가속 및 FP16 기능을 갖춘 추론 엔진이 기존 BVLC Caffe 모델과 가중치 형식과 호환성을 유지할 수 있는가?
• RQ5 특히 큰 모델을 사용할 경우, 메모리 제약 조건이 모바일 디바이스의 GPU 성능에 어떤 영향을 미치는가?

주요 결과

• 스냅드래곤 845 SoC에서 GPU(FP32) 추론은 CPU(FP32) 대비 최대 20배의 성능 향상을 기록했으며, FP16는 추가로 2배의 처리량 향상을 제공합니다.
• GPU(FP32)의 피크 메모리 사용량은 CPU(FP32) 대비 29.1%로 감소했고, GPU(FP16)는 이를 더 줄여 CPU(FP32) 대비 20.8%로 감소시켰습니다.
• 배치 크기가 1인 경우 스타일 전이 네트워크에서는 GPU(FP32)가 CPU(FP32)보다 느렸지만, 더 큰 배치 크기에서는 성능 향상이 뚜렷하게 나타났습니다.
• 키파이 970 SoC에서는 100MB의 GPU 메모리 제한으로 인해 자주 메모리 스왑이 발생하고 깊은 네트워크에서는 성능이 떨어졌습니다.
• 프레임워크는 원래 BVLC Caffe 대비 피크 메모리 사용량을 80%로 줄여 메모리 제약이 있는 엣지 디바이스에서의 효율성을 높였습니다.
• HG-Caffe는 BVLC Caffe의 모델 형식과 완전히 호환되어 사전 훈련된 모델을 재훈련 없이 직접 배포할 수 있습니다.