[논문 리뷰] Beyond Human-Level Accuracy: Computational Challenges in Deep Learning

Joel Hestness, Newsha Ardalani외 1명|arXiv (Cornell University)|2019. 09. 03.

Advanced Neural Network Applications참고 문헌 32인용 수 7

한 줄 요약

이 논문은 딥러닝에서 인간 수준의 정확도를 달성하기 위해 데이터셋 크기를 33–971배로, 모델 크기를 6.6–456배로 확대할 필요가 있으며, 순환 신경망(RNNs)은 높은 메모리 점유율과 중간 수준의 연산 강도로 인해 고유한 계산적 과제를 안고 있음을 예측한다. 저자들은 RNN 학습의 성능 저하 문제를 해결하기 위해 현저히 더 큰 片상 캐시와 메모리 용량을 갖춘 하드웨어 가속기 설계를 주장한다. 이는 현재 컨볼루션 네트워크를 최적화한 가속기 설계와 대비된다.

ABSTRACT

Deep learning (DL) research yields accuracy and product improvements from both model architecture changes and scale: larger data sets and models, and more computation. For hardware design, it is difficult to predict DL model changes. However, recent prior work shows that as dataset sizes grow, DL model accuracy and model size grow predictably. This paper leverages the prior work to project the dataset and model size growth required to advance DL accuracy beyond human-level, to frontier targets defined by machine learning experts. Datasets will need to grow $33$--$971 imes$, while models will need to grow $6.6$--$456 imes$ to achieve target accuracies. We further characterize and project the computational requirements to train these applications at scale. Our characterization reveals an important segmentation of DL training challenges for recurrent neural networks (RNNs) that contrasts with prior studies of deep convolutional networks. RNNs will have comparatively moderate operational intensities and very large memory footprint requirements. In contrast to emerging accelerator designs, large-scale RNN training characteristics suggest designs with significantly larger memory capacity and on-chip caches.

연구 동기 및 목표

• 핵심 도메인 전반에서 딥러닝의 인간 수준 정확도를 달성하기 위해 필요한 데이터셋 및 모델 크기 증가를 예측하기 위해.
• 특히 RNN을 포함한 대규모 딥러닝 모델 학습을 위한 계산 및 메모리 요구사항을 규명하기 위해.
• RNN과 컨볼루션 신경망(CNNs) 간 학습 과제의 핵심적 분할을 규명하기 위해.
• 확장 가능한 RNN 학습을 위해 메모리 용량과 片상 캐싱을 우선시하는 하드웨어 설계를 주장하기 위해.
• 현재의 가속기 설계 경향을 뒤집기 위해, 메모리 용량과 캐시 크기보다 계산 대 메모리 비율을 우선시하는 경향을 바로 잡기 위해.

제안 방법

• Hestness 등(2017)의 이전 파wr-법 규모 법칙을 활용하여 정확도 목표에 기반해 데이터셋 및 모델 크기 증가를 예측하였다.
• 언어 모델링, 기계 번역, 음성 인식, 이미지 분류 분야의 기계 학습 전문가들로부터 최전선 정확도 목표를 수집하였다.
• 계산 그래프 모델링과 운영 강도 지표를 사용해 CNNs와 RNNs를 비교함으로써 계산 요구사항을 분석하였다.
• 언어 모델링 사례 연구를 수행하여 다양한 병렬화 전략 하에서 메모리 점유율과 FLOP 활용도를 정량화하였다.
• 모델 정밀화, 저정밀도 계산, 희소 계산과 같은 알고리즘 최적화 기법을 평가하여 메모리 요구량을 줄였다.
• 더 큰 片상 캐시와 증가된 메모리 용량을 포함한 하드웨어 설계 전환을 제안하여 RNN 학습 워크로드를 더 잘 지원하였다.

실험 결과

연구 질문

• RQ1 핵심 도메인 전반에서 딥러닝의 인간 수준 정확도를 달성하기 위해 필요한 데이터셋 및 모델 크기 증가는 어느 정도인가?
• RQ2 대규모 학습에서 RNN의 계산 및 메모리 특성은 컨볼루션 신경망(CNNs)과 어떻게 다를까?
• RQ3 왜 현재의 가속기 설계는 대규모 RNN 학습에 부적합한가? 어떤 하드웨어 변화가 필요할까?
• RQ4 정밀화나 저정밀도 계산과 같은 알고리즘 최적화 기법이 RNN의 메모리 점유율을 어느 정도 줄일 수 있는가?
• RQ5 데이터 병렬화 및 모델 병렬화와 같은 병렬화 기법은 RNN 학습에서 메모리 및 계산 효율성에 어떻게 영향을 미치는가?

주요 결과

• 딥러닝에서 인간 수준의 정확도를 달성하기 위해서는 현재 최첨단 모델 대비 데이터셋 크기가 33–971배로 증가하고, 모델 파라미터 수가 6.6–456배로 증가해야 한다.
• RNN은 중간 수준의 운영 강도를 보이며, 현재 가속기의 메모리 용량(16–32GB)보다 8–100배 더 큰 메모리 점유율을 요구한다.
• 높은 계산 대 메모리 비율을 최적화한 현재의 하드웨어 가속기는 메모리 용량과 片상 캐시 크기가 부족하여 RNN 학습에 부적합하다.
• 모델 정밀화와 저정밀도 계산과 같은 알고리즘 최적화 기법은 메모리 요구량을 1.5–10배로 줄일 수 있지만, 학습 중에는 제한이 있다.
• 데이터 및 모델 병렬화 기법은 가속기당 메모리 사용량을 줄일 수 있지만, RNN은 입력 재스트림링으로 인해 높은 통신 오버헤드와 제한된 FLOP 활용도를 겪는다.
• 확장 가능한 RNN 학습을 효율적으로 수행하기 위해 현저히 더 큰 片상 캐시와 메모리 용량을 갖춘 하드웨어 설계가 필수적이며, 이는 현재의 가속기 추세와 정면으로 배치된다.