[논문 리뷰] Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better

Gaurav Menghani|arXiv (Cornell University)|2021. 06. 16.

Advanced Neural Network Applications인용 수 37

한 줄 요약

깊은 학습 모델을 더 작고, 빠르게, 더 나은 방식으로 만드는 방법에 대한 포괄적 조사—모델링 기법, 인프라, 하드웨어를 포함하며 가지치기, 양자화, 학습 전략을 다룸.

ABSTRACT

Deep Learning has revolutionized the fields of computer vision, natural language understanding, speech recognition, information retrieval and more. However, with the progressive improvements in deep learning models, their number of parameters, latency, resources required to train, etc. have all have increased significantly. Consequently, it has become important to pay attention to these footprint metrics of a model as well, not just its quality. We present and motivate the problem of efficiency in deep learning, followed by a thorough survey of the five core areas of model efficiency (spanning modeling techniques, infrastructure, and hardware) and the seminal work there. We also present an experiment-based guide along with code, for practitioners to optimize their model training and deployment. We believe this is the first comprehensive survey in the efficient deep learning space that covers the landscape of model efficiency from modeling techniques to hardware support. Our hope is that this survey would provide the reader with the mental model and the necessary understanding of the field to apply generic efficiency techniques to immediately get significant improvements, and also equip them with ideas for further research and experimentation to achieve additional gains.

연구 동기 및 목표

• 정확도와 투명성을 넘어 모델의 발자국 지표(크기, 지연, 학습 비용)의 중요성을 강조한다.
• 모델링 방법, 인프라 및 하드웨어에 걸친 효율성 기법의 포괄적 분류 체계를 제공한다.
• Pareto-optimal 모델을 훈련하고 배포하기 위한 실용적 가이드라인과 실험 로드맵(코드 포함)을 제시한다.
• 실세계의 효율적 AI 애플리케이션을 가능하게 하기 위해 모델링 기법과 배포 고려사항을 연결한다.

제안 방법

• 효율성 기법의 다섯 영역 멘탈 모델 제시: 압축, 학습, 자동화, 효율적 아키텍처, 인프라.
• 구조화된 가지치기와 희소성 스케줄링 포함 모듈식 대 무구조적 가지치기 및 가시성 기반 가지치기 전략 상세화.
• 가중치 및 활성화의 양자화와 양자화 인식 훈련 알고리즘을 포함한 양자화 및 양자화 인식 훈련 설명.
• 저랭크 분해와 가중치 공유 등 다른 압축 기술 논의.
• 증류와 어 ensemble 기반 접근법과 같은 학습 기법으로 더 작은 모델에서 유사한 성능 달성.
• 희소 및 양자화된 모델의 하드웨어 가속 구현 고려에 대한 경험적 관점 제공.

실험 결과

연구 질문

• RQ1 모델의 정확도와 발자국(크기/지연) 간 Pareto 최적의 트레이드오프를 가능하게 하는 기법은 무엇인가?
• RQ2 압축 및 학습 방법은 실질적인 하드웨어 배치에서 효과성과 실용성 측면에서 어떻게 비교되는가?
• RQ3 훈련 및 배포에서 효율성을 실현하기 위해 필요한 인프라와 도구는 무엇인가?
• RQ4 구조적 가지치기와 비구조적 가지치기 및 양자화 접근 방식은 실제 지연 시간 및 크기 개선으로 어떻게 번역되는가?

주요 결과

모델 아키텍처	희소성 유형	희소성 %	FLOPs	Top-1 정확도 %	출처
MobileNet v2 - 1.0	Dense (Baseline)	0%	1x	72.0%	Sandler et al. (2018)
MobileNet v2 - 1.0	Unstructured	75%	0.27x	67.7%	Zhu and Gupta (2018)
MobileNet v2 - 1.0	Unstructured	75%	0.52x	71.9%	Evci et al. (2020)
MobileNet v2 - 1.0	Structured (block-wise)	85%	0.11x	69.7%	Elsen et al. (2020); google research (2021)
MobileNet v2 - 1.0	Unstructured	90%	0.12x	61.8%	Zhu and Gupta (2018)
MobileNet v2 - 1.0	Unstructured	90%	0.12x	69.7%	Evci et al. (2020)

• 가지치기를 통해 매개변수를 크게 줄일 수 있으며, 구조적 가지치기를 사용하면 의미 있는 지연 시간 및 크기 감소를 실현 가능해 빠른 추론에 적합하다.
• 8비트 가중치를 사용한 양자화는 모델 크기를 약 4배 축소할 수 있으며, 양자화 인식 훈련은 일반적으로 추후 퀀타이제이션보다 정확도를 더 잘 보존한다.
• 활성화 양자화와 고정소수점 실행은 SIMD 지원이 있는 CPU에서 유의미한 속도 향상을 가져올 수 있으며, 고정소수점 그래프에서 추론 속도가 대략 최대 3배까지 가능하다.
• 양자화 인식 훈련은 추후 양자화보다 정확도에서 우수하면서도 여전히 큰 폭으로 크기 감소를 제공한다.
• 호환 커널을 가진 구조적 희소 표현은 특정 하드웨어에서 밀집 모델보다 매개변수 수가 줄어들 때 더 나은 성능을 발휘할 수 있다.
• Lottery Ticket Hypothesis는 대형 네트워크 내에 컴팩트한 하위 네트워크가 존재할 수 있음을 시사하지만, 데이터셋과 아키텍처에 따라 결과가 달라진다.