[논문 리뷰] Deep Learning Inference in Facebook Data Centers: Characterization, Performance Optimizations and Hardware Implications

Jongsoo Park, Maxim Naumov외 26명|arXiv (Cornell University)|2018. 11. 24.

Parallel Computing and Optimization Techniques참고 문헌 45인용 수 82

한 줄 요약

본 논문은 페이스북의 DL 추론 워크로드를 특징짓고, 컴퓨트/메모리 필요를 분석하며, 향후 추론 가속기에 대한 CPU 중심 최적화 및 하드웨어 고려사항을 제안한다.

ABSTRACT

The application of deep learning techniques resulted in remarkable improvement of machine learning models. In this paper provides detailed characterizations of deep learning models used in many Facebook social network services. We present computational characteristics of our models, describe high performance optimizations targeting existing systems, point out their limitations and make suggestions for the future general-purpose/accelerated inference hardware. Also, we highlight the need for better co-design of algorithms, numerics and computing platforms to address the challenges of workloads often run in data centers.

연구 동기 및 목표

• 페이스북 서비스에서 사용되는 DL 추론 워크로드와 그 진화를 특징짓는다.
• 하드웨어 설계를 유도하는 계산 및 메모리 접근 패턴을 식별한다.
• CPU 기반 추론을 위한 성능 최적화 및 저정밀 기법을 제안한다.
• 향후 DL 추론 하드웨어의 하드웨어 함의 및 요구사항을 강조한다.

제안 방법

• 추론 워크로드를 랭킹/추천, 컴퓨터 비전(CV), 언어 작업으로 분류한다.
• 대표 모델들에서 산술 강도, 메모리 대역폭, 온칩/칩 밖 메모리 사용량을 분석한다.
• 관찰자 프레임워크와 루프라인 모델을 이용해 CPU 기반 추론의 작업자 로드와 병목을 프로파일링한다.
• Throughput 향상을 위해 저정밀 DL 추론 기법(fp16, int8 및 32비트 누적, 이상치 인식 양자화)을 개발한다.
• DL 워크로드를 더 잘 지원하기 위한 소프트웨어 및 인터페이스 고려사항(컨볼루션을 1급 연산으로 간주, 비정사각/메모리-bound 모양 포함)을 제시한다.
• 벤치마크 기반의 인사이트와 모델/커널 특성을 제시하여 하드웨어-소프트웨어 공동 설계를 안내한다.

실험 결과

연구 질문

• RQ1 페이스북 데이터 센터에서 대표적인 DL 추론 워크로드는 무엇이며 어떻게 진화해 왔는가?
• RQ2 이 워크로드의 계산 및 메모리 특성(산술 강도, 대역폭 필요성, 온칩 대 칩 밖 메모리 사용)이 무엇인가?
• RQ3 전력/처리량 제약 내에서 CPU 기반 추론 성능을 개선할 수 있는 최적화(정밀도, 커널 구현, 소프트웨어 설계)는 무엇인가?
• RQ4 향후 DL 추론 하드웨어가 이러한 워크로드를 효과적으로 처리하기 위해 필요한 하드웨어 기능 및 공동 설계 전략은 무엇인가?

주요 결과

Category	Model Types	Model Size (# params)	Batch Size (typical)	Max. Live Activations	Arith. intensity (weights)	Arith. intensity (act. & weights)	Latency (constraints)
Recommendation	FCs	1–10M	1–100	>10K	20–200	20–200	10s of ms
Embeddings	>10 Billion	1–100	>10K	1–2	1–2	10s of ms
Computer Vision	ResNet-50	25M	1 image	2M	avg. 303/min. 100	avg. 164/min. 25	No strict constraints
ResNeXt-101-32x4-48	43–829M	1 image	2.4–29M	avg. 380/min. 100	avg. 188/min. 28
Language	seq2seq (GRU/LSTM)	100M-1B	1-8 tokens	>100K	2–20	2–20	10s of ms

• 임베딩 조회가 메모리 대역폭의 주를 차지하고 큰 메모리 용량이 필요하며 임베딩은 종종 수십 GB를 초과한다.
• CPU에서 FC 계층과 임베딩 조회가 주요 시간 소모이며, 소형 배치에서의 메모리 대역폭과 그룹 컨볼루션에 의해 성능이 좌우된다.
• 저정밀 방법(fp16, 32비트 누적이 있는 int8, 이상치 인식 양자화)은 특정 계층에서 약 2–4배의 속도 향상을 제공하면서도 정확도를 작은 여유 범위 내로 보존할 수 있다.
• 루프라인 분석은 온칩 메모리 용량과 대역폭에 따라 성능 향상이 좌우됨을 보여주며, 큰 활성화 및 임베딩의 경우 더 큰 온칩 메모리가 처리량을 크게 개선할 수 있다.
• FP16용 FBGEMM, i8-acc32와 같은 특수 커널은 대표 모델에서 FP32 GEMM보다 현저히 우수하게 작동하며, 특히 FC 및 Faster-RCNN-Shuffle에 대해 그렇다.
• 컨볼루션을 1급 연산으로 다루고 키가 큰 스탠다드가 아닌 인터페이스를 채택하는 것이 필요하며, tall-skinny 행렬 및 그룹/깊이별 컨볼루션을 수용해야 한다고 주장한다.