[논문 리뷰] Characterising Across-Stack Optimisations for Deep Convolutional Neural Networks

Jack Turner, José Cano외 4명|arXiv (Cornell University)|2018. 09. 19.

Advanced Neural Network Applications참고 문헌 29인용 수 7

한 줄 요약

이 논문은 OpenMP, OpenCL 및 하드웨어 인식 튜닝을 사용하여 기계학습 압축 기법—가중치 프루닝, 채널 프루닝 및 양자화—를 저수준 시스템 최적화와 통합함으로써 자원 제약이 있는 장치에 딥 컨volution 뉴럴 네트워크(CNN)를 구현하기 위한 스택 간 최적화 프레임워크를 제안한다. 주요 기여는 난이도 높은 압축 기법이 하드웨어 특성에 기인한 병목 현상으로 인해 기대하는 성능 향상이 이루어지지 않는다는 것을 보여주는 종합적인 페레토 곡선이며, 수동 최적화된 OpenCL 커널이 작은 입력 모델에서 고수준 라이브러리인 CLBlast보다 성능이 뛰어나다는 점을 확인하여 머신러닝과 시스템 커뮤니티 간의 심각한 격차를 드러낸다.

ABSTRACT

Convolutional Neural Networks (CNNs) are extremely computationally demanding, presenting a large barrier to their deployment on resource-constrained devices. Since such systems are where some of their most useful applications lie (e.g. obstacle detection for mobile robots, vision-based medical assistive technology), significant bodies of work from both machine learning and systems communities have attempted to provide optimisations that will make CNNs available to edge devices. In this paper we unify the two viewpoints in a Deep Learning Inference Stack and take an across-stack approach by implementing and evaluating the most common neural network compression techniques (weight pruning, channel pruning, and quantisation) and optimising their parallel execution with a range of programming approaches (OpenMP, OpenCL) and hardware architectures (CPU, GPU). We provide comprehensive Pareto curves to instruct trade-offs under constraints of accuracy, execution time, and memory space.

연구 동기 및 목표

• 자원 제약이 있는 하드웨어에 대해 신경망 압축과 저수준 하드웨어 최적화를 통합함으로써 머신러닝과 시스템 커뮤니티 간 격차를 해소하기 위해.
• 공통적으로 사용되는 압축 기법—가중치 프루닝, 채널 프루닝 및 양자화—이 자원 제약이 있는 하드웨어에서 실질적인 성능 영향을 미치는지 평가하기 위해.
• CPU 및 GPU와 같은 다양한 하드웨어와 OpenMP, OpenCL 등의 프로그래밍 모델에서 압축 및 병렬화 전략의 최적 조합을 식별하기 위해.
• 정확도, 메모리, 추론 시간 제약 조건 하에서 효율적이고 정확한 CNN을 엣지 장치에 배포하기 위한 실질적인 지침을 제공하기 위해.

제안 방법

• 저자들은 모델 아키텍처에서 저수준 코드 및 하드웨어에 이르기까지 최적화 계층을 체계화하기 위해 딥러닝 추론 스택을 정의한다.
• CIFAR-10 데이터셋을 사용하여 VGG-16, ResNet-18 및 MobileNet에 대해 세 가지 압축 기법—가중치 프루닝, 채널 프루닝 및 양자화—를 구현하고 평가한다.
• 시스템 수준 최적화를 위해, Odroid-XU4 보드에서 CPU용 OpenMP, 최적화된 BLAS용 CLBlast, GPU용 수동 최적화된 OpenCL 커널을 비교한다.
• 성능은 추론 시간, 메모리 프로파일, 정확도의 세 가지 지표로 측정되며, 트레이드오프를 시각화하기 위해 페레토 곡선이 생성된다.
• 수동 최적화된 OpenCL 커널은 최적의 GPU 매핑을 위해 4×4 워크그룹 크기와 16원소 벡터화를 사용한다.
• 모든 구현은 커뮤니티의 확장성과 재현 가능성을 보장하기 위해 오픈소스로 제공된다.

실험 결과

연구 질문

• RQ1 공통적으로 사용되는 압축 기법(프루닝, 양자화)이 자원 제약이 있는 하드웨어에서 기대하는 성능 향상을 얼마나 잘 달성하는가?
• RQ2 다양한 저수준 프로그래밍 모델(OpenMP, OpenCL, CLBlast)이 압축된 CNN에 적용되었을 때 추론 성능에 어떤 영향을 미치는가?
• RQ3 왜 일부 압축 기법은 MAC 연산 수를 줄임에도 불구하고 추론 속도 향상이 이루어지지 않는가? 그 배경에 있는 하드웨어 병목 현상은 무엇인가?
• RQ4 작은 입력 시나리오에서 수동 최적화된 커널이 CLBlast과 같은 최적화 라이브러리보다 성능이 뛰어나게 되는가? 만약 그렇다면 어떤 조건에서 그러한 성능 향상이 발생하는가?
• RQ5 엔드포인트 배포를 위한 최적의 모델 압축과 시스템 수준 최적화의 조합은 무엇인가?

주요 결과

• 수동 최적화된 OpenCL 커널은 Odroid-XU4 GPU에서 OpenMP 및 CLBlast보다 성능이 뛰어나며, 특히 CIFAR-10과 같은 작은 입력 모델에서 라이브러리 오버헤드를 줄여 효과를 발휘한다.
• CLBlast 라이브러리는 큰 규모의 연산에서는 높은 성능을 자랑하지만, 작은 행렬 처리에 있어서는 비효율적인 처리로 인해 ResNet-18에서 최대 10배의 성능 저하를 초래했다.
• 가중치 프루닝에서 유도된 희소 형식은 작은 필터(예: 3×3 컨볼루션)의 경우 메모리 사용량을 증가시켜, 일반적으로 희소성이 항상 메모리 프로파일을 줄인다는 공통적인 믿음과 정면으로 배치된다.
• 파rameter 수를 줄였음에도 불구하고, 가중치 프루닝 및 양자화 기법이 테스트된 하드웨어에서 예상되는 성능 향상이 이루어지지 않았으며, 이는 머신러닝 최적화 목표와 시스템 수준 성능 간의 괴리가 있음을 시사한다.
• 예상과 실제 추론 시간 간의 격차(예: VGG-16에서 관찰됨)는 단순한 계산 감소 외에도 메모리 액세스 패턴과 하드웨어 특성이 매우 중요하다는 점을 입증한다.
• 효율적인 엣지 배포를 위해서는 전체 추론 스택에 걸쳐 공동 설계가 필요하며, 고립된 최적화는 뜻하지 않은 시스템 수준의 병목 현상으로 인해 실패하는 경우가 많다는 점을 이 연구는 드러낸다.