[논문 리뷰] Resource-Efficient Deep Learning: A Survey on Model-, Arithmetic-, and Implementation-Level Techniques

Junkyu Lee, Lev Mukhanov외 7명|arXiv (Cornell University)|2021. 12. 30.

Machine Learning and Data Classification참고 문헌 169인용 수 10

한 줄 요약

이 종합적 서베이는 깊이 있는 신경망의 자원 효율성을 향상시키기 위해 모델 수준(예: 프루닝, 지식 증류), 산술 수준(예: 양자화, 저정밀도 산술), 구현 수준(예: 하드웨어 인식 최적화, 메모리 계층 구조 조정)의 세 가지 수준으로 구성된 체계적인 분류 체계를 제시한다. 이는 파rameter, 연산, 메모리, 에너지 전반에 걸쳐 효율성을 향상시킨다. 또한 정확도를 자원 단위당로 측정하는 통합된 메트릭 프레임워크를 수립하여, 제약 조건이 있는 장치에서 최적의 성능을 달성하기 위해 세 수준 모두를 통합 최적화해야 한다는 점을 강조한다.

ABSTRACT

Deep learning is pervasive in our daily life, including self-driving cars, virtual assistants, social network services, healthcare services, face recognition, etc. However, deep neural networks demand substantial compute resources during training and inference. The machine learning community has mainly focused on model-level optimizations such as architectural compression of deep learning models, while the system community has focused on implementation-level optimization. In between, various arithmetic-level optimization techniques have been proposed in the arithmetic community. This article provides a survey on resource-efficient deep learning techniques in terms of model-, arithmetic-, and implementation-level techniques and identifies the research gaps for resource-efficient deep learning techniques across the three different level techniques. Our survey clarifies the influence from higher to lower-level techniques based on our resource-efficiency metric definition and discusses the future trend for resource-efficient deep learning research.

연구 동기 및 목표

• 모델, 산술, 구현의 세 가지 추상화 수준에서 자원 효율적인 딥 러닝 기법에 대한 통합적이고 종합적인 서베이를 제공한다.
• 정확도/파rameter, 연산, 메모리, 줄루(Joule) 등과 같은 일관된 자원 효율성 메트릭을 정의하고 적용하여 기법 간 공정한 비교를 가능하게 한다.
• 모델 수준, 산술 수준, 구현 수준 최적화 전략 간의 연구 격차와 상호보완성을 규명한다.
• 엣지 및 모바일 장치에서 물리적 자원 효율성을 최적화하기 위해 세 수준 모두를 통합 최적화해야 한다는 점을 강조한다.
• 모델 복잡도, 정밀도, 하드웨어 인식 배포 간의 연계를 통해 향후 효율적인 DNN 설계를 이끌어내기 위한 지침을 제공한다.

제안 방법

• 자원 효율 기법을 세 수준으로 분류한다: 모델 수준(예: 프루닝, 지식 증류), 산술 수준(예: 양자화, 저정밀도 산술), 구현 수준(예: 메모리 최적화, 데이터플로우 조정).
• 정확도/파rameter, 연산, 메모리 프로파일, 코어 활용도, 메모리 액세스, 에너지(Joule)를 포함한 다차원 자원 효율성 메트릭을 정의한다.
• 메트릭을 사용해 기법을 평가하고 비교하며, 기준 모델과 최적화된 모델 간 정확도가 동일한 조건을 요구함으로써 공정한 비교를 확보한다.
• 상위 수준 최적화(모델 및 산술 수준)가 하위 수준 효율성에 미치는 영향과 그 반대의 영향을 분석하여 상호의존성을 명확히 한다.
• 각 범주에서 최신 기법을 서베이하며, 엣지 AI를 위한 뉴로모픽 컴퓨팅과 스플릿 러닝 등의 새로운 추세도 포함한다.
• 모델 압축과 하드웨어 인식 구현 간의 공동 설계의 중요성을 강조하여, 모델 크기 감소에도 불구하고 성능 저하를 방지한다.

실험 결과

연구 질문

• RQ1 모델 수준, 산술 수준, 구현 수준 기법들이 딥 뉴럴 네트워크의 자원 효율성에 어떻게 통합적으로 향상시키는가?
• RQ2 자원 효율성의 공정한 비교를 위한 핵심 메트릭은 무엇이며, 다양한 최적화 기법 간 표준화는 어떻게 이루어질 수 있는가?
• RQ3 왜 모델 수준 최적화가 때로 실제 하드웨어에서 물리적 자원 효율성 향상을 보여주지 못하는가? 이는 어떻게 완화할 수 있는가?
• RQ4 제한된 대역폭과 에너지원을 가진 분산형 및 엣지 AI 워크로드에 자원 효율 기법을 적용하는 데 있어 열려 있는 과제는 무엇인가?
• RQ5 향후 연구는 신경망 아키텍처 탐색(NAS)을 어떻게 모델 수준, 산술 수준, 구현 수준 최적화와 통합하여 최적의 효율성을 달성할 수 있는가?

주요 결과

• 프루닝, 지식 증류와 같은 모델 수준 기법은 정확도/파rameter 등 추상적 자원 효율성은 향상시키지만, 구현 수준 최적화가 함께 이루어지지 않으면 런타임 자원 사용은 줄어들지 않을 수 있다.
• 양자화, 저정밀도 산술과 같은 산술 수준 기법은 메모리 프로파일 감소와 연산당 에너지 소비 감소를 직접적으로 향상시켜 물리적 자원 효율성을 높인다.
• 온칩 메모리 배치 및 데이터플로우 재조정과 같은 구현 수준 최적화는 특히 모델 및 산술 기법과 조합되었을 때 정확도/줄루(Joule) 및 코어 활용도를 크게 향상시킨다.
• 이 서베이는 중요한 연구 격차를 규명한다: 많은 모델 압축 네트워크가 실질적으로는 더 높은 메모리 액세스와 계산 오버헤드로 인해 성능이 열 劣하는 경향이 있어, 공동 설계의 필요성을 강조한다.
• 뉴로모픽 컴퓨팅과 스플릿 러닝(예: 인코딩/디코딩 오프로딩)은 초저에너지 엣지 추론을 위한 유망한 방향으로 부상하고 있다.
• 로또 티켓 가설과 편향-분산 트레이드오프는 모델 수준 압축의 기초를 이룬다. 이는 주어진 데이터 및 복잡도 제약 조건 하에서 최적의 일반화를 달성하기 위한 최소한의 충분한 모델 크기가 존재함을 시사한다.