[논문 리뷰] GPU-based Acceleration of Deep Convolutional Neural Networks on Mobile Platforms

Seyyed Salar Latifi Oskouei, Hossein Bakhshi Golestani외 4명|arXiv (Cornell University)|2015. 11. 23.

Advanced Neural Network Applications참고 문헌 3인용 수 11

한 줄 요약

이 논문은 모바일 플랫폼을 위한 GPU 가속 기반 딥 컨volution 신경망(CNN) 엔진을 제시한다. 임베디드 GPU를 활용하여 CPU 전용 추론 대비 최대 60배의 성능 향상을 달성한다. 최적화된 커널을 사용해 CNN 연산을 GPU로 이관함으로써, 클라우드 의존 없이 실시간으로 현장에서 추론이 가능하게 하여, 모바일 및 웨어러블 애플리케이션의 성능과 확장성 향상에 기여한다.

ABSTRACT

Mobile applications running on wearable devices and smartphones can greatly benefit from accurate and scalable deep CNN-based machine learning algorithms. While mobile CPU performance does not match the intensive computational requirement of deep CNNs, the embedded GPU which already exists in many mobile platforms can be leveraged for acceleration of CNN computations on the local device and without the use of a cloud service. We present a GPU-based accelerated deep CNN engine for mobile platforms with upto 60X speedup.

연구 동기 및 목표

• 복잡한 모델의 계산 요구 사항으로 인해 성능이 저하되는 모바일 CPU에서 딥 CNN을 실행할 때 발생하는 성능 저하 문제를 해결한다.
• 기존의 임베디드 GPU를 활용해 로컬에서 CNN 추론을 가속화함으로써 클라우드 서비스 의존도를 줄인다.
• 실시간 애플리케이션을 지원하기 위해 모바일 및 웨어러블 장치에 최적화된 효율적이고 확장 가능한 GPU 기반 CNN 엔진을 개발한다.
• GPU 가속을 통해 자원 제약이 있는 모바일 하드웨어에서도 고정확도, 저지연 추론을 실현한다.
• 모바일 GPU의 제한된 메모리 및 계산 자원을 고려해 최적화된 GPU 커널 설계를 통해 처리량을 극대화하고 지연을 최소화한다.

제안 방법

• 특수 최적화된 커널을 사용해 CNN 추론 연산—특히 컨볼루션과 활성화 함수—를 임베디드 GPU로 이관한다.
• GPU의 병렬 처리 기능을 활용해 공간적 및 채널 차원에서 다중 필터 연산을 동시에 처리한다.
• 모바일 GPU 아키텍처에서 지연을 최소화하고 대역폭 활용도를 극대화하는 메모리 접근 패턴을 구현한다.
• 모바일 GPU 드라이버와 인터페이스를 제공하고 커널 실행을 효율적으로 관리하는 경량 런타임 프레임워크를 설계한다.
• 캐시 효율성을 향상시키고 전역 메모리 액세스 횟수를 줄이기 위해 데이터 레이아웃 및 타일링 전략을 최적화한다.
• GPU 가속 엔진을 모바일 추론 파이프라인에 통합하여 종단 간 현장 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모바일 플랫폼의 임베디드 GPU가 딥 CNN 추론을 효과적으로 가속화하여 실시간 성능을 달성할 수 있는가?
• RQ2 모바일 하드웨어에서 CPU에서 GPU로 CNN 연산을 이관함으로써 얻을 수 있는 성능 향상 수준은 어느 정도인가?
• RQ3 CPU 전용 추론 대비 GPU 기반 가속이 에너지 효율성과 지연에 어떤 영향을 미치는가?
• RQ4 제한된 메모리 및 계산 자원을 가진 모바일 GPU에서 고성능을 달성하기 위해 필요한 최적화는 무엇인가?
• RQ5 제안된 GPU 가속 기반 CNN 엔진은 실제 모바일 및 웨어러블 장치에 효율적으로 구현될 수 있는가?

주요 결과

• GPU 가속 기반 CNN 엔진은 모바일 플랫폼에서 CPU 전용 추론 대비 최대 60배의 성능 향상을 달성한다.
• 이 프레임워크는 모바일 기기에서 딥 CNN에 대해 실시간 추론을 가능하게 하여 현장에서 AI를 실현 가능한 실생활 애플리케이션에 기여한다.
• 임베디드 GPU를 활용함으로써 클라우드 기반 추론 의존도를 감소시켜 프라이버시 향상과 반응성 향상을 이룬다.
• 성능 향상의 주요 원인은 효율적인 GPU 커널 설계와 최적화된 메모리 접근 패턴에 기인한다.
• 해당 솔루션은 높은 정확도를 유지하면서도 CPU의 추론 지연과 계산 부담을 크게 줄인다.
• 이 방법은 다양한 모바일 및 웨어러블 플랫폼에 확장 가능하고 구현이 가능하다.