[논문 리뷰] Caffe con Troll: Shallow Ideas to Speed Up Deep Learning

Stefan Hadjis, Firas Abuzaid외 2명|arXiv (Cornell University)|2015. 04. 16.

Video Analysis and Summarization참고 문헌 9인용 수 23

한 줄 요약

Caffe con Troll (CcT)는 최적화된 CPU 배치 처리와 최적의 컨volution 내림내림 전략 자동 선택을 통해 딥러닝을 가속화하는, Caffe와 완전히 호환되는 재설계된 버전이다. CPU 전용 학습에서 최대 4.5배의 성능 향상을 달성하며, 하이브리드 CPU-GPU 가속화를 가능하게 하여 EC2 GPU 인스턴스에서 종단 간 성능 향상 15% 이상을 실현한다. 이는 미사용된 CPU 자원을 활용함으로써 달성된다.

ABSTRACT

We present Caffe con Troll (CcT), a fully compatible end-to-end version of the popular framework Caffe with rebuilt internals. We built CcT to examine the performance characteristics of training and deploying general-purpose convolutional neural networks across different hardware architectures. We find that, by employing standard batching optimizations for CPU training, we achieve a 4.5x throughput improvement over Caffe on popular networks like CaffeNet. Moreover, with these improvements, the end-to-end training time for CNNs is directly proportional to the FLOPS delivered by the CPU, which enables us to efficiently train hybrid CPU-GPU systems for CNNs.

연구 동기 및 목표

• 다양한 하드웨어 아키텍처, 특히 CPU와 GPU에서 일반적인 합성곱 신경망(CNN)의 학습 및 배포 성능 특성을 연구하는 것.
• 딥러닝 워크로드에서 주요 병목 현상, 특히 학습 시간의 70–90%를 차지하는 컨볼루션 레이어를 식별하고 최적화하는 것.
• CPU와 GPU에서 컨볼루션에 대한 다양한 행렬 곱 기반 내림내림 기법 간의 성능 트레이드오���을 탐색하는 것.
• 미사용된 CPU 자원을 활용해 하이브리드 CPU-GPU 시스템이 CNN에 대해 유의미한 처리량 향상을 이끌 수 있음을 입증함으로써, 하이브리드 CPU-GPU 시스템을 가능하게 하는 것.
• Caffe의 출력과 완전히 일치시키면서도 아키텍처적 및 알고리즘적 최적화를 통해 성능을 향상시킨 완전히 호환되는 종단 간 시스템을 구축하는 것.

제안 방법

• Caffe를 파생시켜 내부를 재구성하여 CcT를 구축함으로써, Caffe의 레이어 단위 출력을 유지하는 완전히 호환되는 종단 간 시스템을 확보함.
• 기존 프레임워크에서 자주 생략되는 표준 CPU 배치 최적화 기법을 도입하여 메모리 접근성과 병렬성을 향상시킴.
• OpenBLAS 및 Intel MKL과 같은 BLAS 호환 라이브러리를 사용하여 3D 컨볼루션 연산을 행렬 곱으로 변환하는 세 가지의 서로 다른 내림내림 전략을 탐색함.
• 컨볼루션 레이어의 입력 채널 대 출력 채널 비율에 기반해 최적의 내림내림 전략을 자동으로 선택하는 최적화기 알고리즘을 제안함.
• GPU 인스턴스에서 미사용된 CPU 코어를 활용하여 동일한 컨볼루션 레이어를 CPU와 GPU가 동시에 실행하는 하이브리드 CPU-GPU 시스템을 설계하고 평가함.
• 다양한 CPU 및 GPU 구성의 EC2 인스턴스에서 종단 간 학습 시간과 처리량을 측정하여 성능 스케일링 및 FLOPS 비례성 평가를 수행함.

실험 결과

연구 질문

• RQ1 표준 CPU 배치 최적화 기법이 딥러닝 프레임워크에서 종단 간 학습 처리량을 크게 향상시킬 수 있는가?
• RQ2 다양한 내림내림 전략이 CPU 및 GPU에서 컨볼루션 연산 성능에 미치는 영향은 어떠한가?
• RQ3 컨볼루션 레이어의 입력 채널 대 출력 채널 비율에 기반해 최적의 내림내림 기법을 선택하는 데 가장 적합한 전략은 무엇인가?
• RQ4 하이브리드 CPU-GPU 시스템이 CNN 학습에서 동일한 CPU 전용 또는 GPU 전용 시스템보다 더 높은 성능을 달성할 수 있는가?
• RQ5 종단 간 학습 시간이 CPU가 제공하는 FLOPS에 비례하는 정도는 어느 정도이며, 이 비례성은 시스템 설계에 활용될 수 있는가?

주요 결과

• CcT는 CaffeNet과 같은 인기 있는 네트워크에서 단지 CPU 배치 최적화를 통해 Caffe 대비 종단 간 처리량 4.5배 향상을 달성한다.
• CPU에서의 종단 간 학습 시간은 CPU가 제공하는 FLOPS에 직접 비례함을 확인하여 FLOPS가 성능 예측 도구로 사용될 수 있음을 입증한다.
• 최적의 컨볼루션 내림내림 전략은 입력 채널 대 출력 채널 비율에 따라 달라지며, 단순한 자동 최적화기로도 최적의 변형을 선택할 수 있고, 이는 종단 간 성능 향상 최대 5% 기여한다.
• EC2 g2.2xlarge GPU 인스턴스에서 단일 컨볼루션 레이어에 CPU를 추가하면, 오래되고 성능이 낮은 CPU임에도 불구하고 처리량이 20% 이상 향상된다.
• 하이브리드 시스템은 EC2 g2.8xlarge 인스턴스에서 1개 GPU + CPU 조합 시 15% 이상 종단 간 속도 향상을 기록하고, 4개 GPU 환경에서는 3배 이상의 속도 향상을 달성하여 공처리의 효과를 입증한다.
• 본 연구는 GPU 기반 클라우드 인스턴스에서 CPU가 심각하게 미사용되고 있음을 밝혀내었으며, 아키텍처적 대대적 개선 없이도 이들의 통합이 유의미한 성능 향상을 이끌 수 있음을 시사한다.