[논문 리뷰] Neural Architecture Design for GPU-Efficient Networks

Ming Lin, Hesen Chen외 4명|arXiv (Cornell University)|2020. 06. 24.

Advanced Neural Network Applications참고 문헌 23인용 수 11

한 줄 요약

이 논문은 현대 GPU 하드웨어의 특성을 고려해 저수준 레이어에서는 전체 컨벌루션을, 고수준 레이어에서는 디프스와이즈/보틀넥 컨벌루션을 사용하는 GPU에 효율적인 신경망 아키텍처 설계 원칙을 제안한다. 경량 NAS 방법(LLR-NAS)을 활용해 개발한 GENets는 현대 GPU에서 EfficientNet-B3 대비 최대 6.4배 빠른 추론 속도를 달성하면서도 ImageNet에서 상위 1위 정확도 81.3% 이상을 유지한다.

ABSTRACT

Many mission-critical systems are based on GPU for inference. It requires not only high recognition accuracy but also low latency in responding time. Although many studies are devoted to optimizing the structure of deep models for efficient inference, most of them do not leverage the architecture of extbf{modern GPU} for fast inference, leading to suboptimal performance. To address this issue, we propose a general principle for designing GPU-efficient networks based on extensive empirical studies. This design principle enables us to search for GPU-efficient network structures effectively by a simple and lightweight method as opposed to most Neural Architecture Search (NAS) methods that are complicated and computationally expensive. Based on the proposed framework, we design a family of GPU-Efficient Networks, or GENets in short. We did extensive evaluations on multiple GPU platforms and inference engines. While achieving $\geq 81.3\%$ top-1 accuracy on ImageNet, GENet is up to $6.4$ times faster than EfficienNet on GPU. It also outperforms most state-of-the-art models that are more efficient than EfficientNet in high precision regimes. Our source code and pre-trained models are available from \url{https://github.com/idstcv/GPU-Efficient-Networks}.

연구 동기 및 목표

• 기존의 효율적인 네트워크들이 현대 GPU에서 최적의 추론 성능을 내지 못하는 문제를 해결하기 위해, GPU 전용 하드웨어 특성을 고려하지 않는 경향이 있음을 다루기 위해.
• 특히 현대 GPU 하드웨어를 위해 최적화된 신경망 아키텍처 설계 원칙을 식별하고 체계화하기 위해.
• 지연 시간과 처리량을 중심으로 하드웨어에 맞는 설계 원칙을 수립하기 위해.
• 간단하고 하드웨어 인지적인 설계 공간 내에서 효율적으로 GPU에 적합한 아키텍처를 탐색할 수 있는 경량 NAS 방법(LLR-NAS)을 개발하기 위해.
• 다양한 GPU 플랫폼과 추론 엔진에서 빠르고 정확도가 높은 네트워크(GENets)의 가족을 구축하기 위해.

제안 방법

• 실증적 프로파일링을 통해 커널 단일값과 지연 시간을 분석하여, 저수준 스테이지에서는 전체 컨벌루션, 고수준 스테이지에서는 디프스와이즈/보틀넥 컨벌루션을 조합한 GPU 최적화 설계 공간을 제안한다.
• 지역 선형 회귀 NAS(LLR-NAS)를 사용하여, 초기 아키텍처를 변형하고 각 변형체를 30 에포크 동안 훈련시어 정확도와 지연 시간을 예측하는 경량 NAS 알고리즘을 적용한다.
• 다양한 블록 유형에 맞춰 커널 크기(3, 5), 채널 너비(2.0c에서 0.5c), 깊이(기본값에서 ±2), 보틀넥 비율(r) 등의 핵심 하이퍼파라미터를 특정 범위 내에서 조정한다.
• 데이터 증강(mix-up, 랜덤-에리즈, 오토-증강), 레이블 스무딩, ResNet-152 교사 모델에서의 디스티illation을 사용하여 최종 GENet 모델을 480 에포크 동안 훈련시킨다.
• 표준 ImageNet 분할을 사용하여 세 가지 설정(V100(FP16, PyTorch), T4(FP16, TensorRT), T4(INT8, TensorRT))에서 추론 속도를 벤치마킹한다.
• T4 GPU에서 혼합 정밀도 추론을 최대한 빠르게 하기 위해 TensorRT의 내장 INT8 校정 기능을 적용한다.

실험 결과

연구 질문

• RQ1 다양한 네트워크 깊이에서 현대 GPU에서 전체 컨벌루션, 디프스와이즈 컨벌루션, 보틀넥 컨벌루션 등의 다양한 컨벌루션 연산자들이 지연 시간 측면에서 어떻게 성능을 내는가?
• RQ2 단순화된 하드웨어 인지 설계 공간을 통해 계산 비용이 높은 NAS 방법에 의존하지 않고도 효과적이고 효율적인 신경망 아키텍처 탐색이 가능한가?
• RQ3 원칙적인 설계 공간에 따라 안내되는 경량 NAS 방법(LLR-NAS)이 고성능 GPU 최적화 아키텍처를 얼마나 잘 발견할 수 있는가?
• RQ4 다양한 GPU 플랫폼과 추론 엔진에서 GENets가 EfficientNet 및 OFANet과 같은 최신 기술 모델 대비 정확도와 추론 속도 측면에서 어떻게 성능을 내는가?
• RQ5 하이브리드 컨벌루션 연산자(초기 레이어에서는 전체 컨벌루션, 후속 레이어에서는 디프스와이즈/보틀넥 컨벌루션)를 사용한 네트워크가 균일한 연산자를 사용한 모델보다 GPU 효율성이 뛰어나게 되는가?

주요 결과

• GENet-large는 T4 + TensorRT + INT8 추론 설정에서 EfficientNet-B3 대비 6.4배 더 빠른 속도를 기록하면서도 ImageNet에서 상위 1위 정확도 81.3%를 확보한다.
• GENet-normal은 EfficientNet-B2 대비 6.8배, OFANet 대비 4.2배 더 빠르며, 80.0% 정확도 수준에서 뛰어난 효율성을 보여준다. 이는 고정확도 영역에서의 뛰어난 효율성을 입증한다.
• V100에서 FP16 및 PyTorch를 사용할 경우, GENet-large는 동일한 추론 속도에서 EfficientNet-B0보다 5.0% 더 정확도가 높다. 이는 정확도-지연 시간 이점을 잘 보여준다.
• 저수준 스테이지에서는 전체 컨벌루션, 고수준 스테이지에서는 디프스와이즈/보틀넥 컨벌루션을 사용하는 설계 원칙은 GPU 활용도를 크게 향상시키고 지연 시간을 낮춘다.
• GENets는 뛰어난 이식성 보유: 다양한 GPU 플랫폼(V100, T4)과 추론 엔진(PyTorch, TensorRT) 간에서 성능 향상이 일관되게 유지된다.
• 경량 LLR-NAS 방법과 원칙적인 설계 공간을 조합함으로써, 24개의 V100에서 약 60 GPU 시간 내에 효율적인 아키텍처 탐색이 가능해졌으며, 브루트 포스 NAS의 계산 비용을 피할 수 있었다.