[논문 리뷰] Mixed-Precision Neural Networks: A Survey

Mariam Rakka, Mohammed E. Fouda외 2명|arXiv (Cornell University)|2022. 08. 11.

Advanced Neural Network Applications인용 수 15

한 줄 요약

이 종합 검토는 혼합 정밀도 신경망(MXPDNNs)에 대한 포괄적인 분석을 제공하며, 정밀도를 균형 있게 조정하고 정확도와 하드웨어 효율성을 동시에 확보하기 위해 계층 간 비트폭 할당을 최적화하는 양자화 기법과 프레임워크를 검토한다. 강화 학습, 결정론적 반올림, 하이브리드 접근 방식을 평가하며, 이들의 상충 관계를 분석하고 향후 하드웨어 인식형, 런타임 가변형, 정확도 유지형 MXPDNN 프레임워크 설계를 위한 지침을 제시한다.

ABSTRACT

Mixed-precision Deep Neural Networks achieve the energy efficiency and throughput needed for hardware deployment, particularly when the resources are limited, without sacrificing accuracy. However, the optimal per-layer bit precision that preserves accuracy is not easily found, especially with the abundance of models, datasets, and quantization techniques that creates an enormous search space. In order to tackle this difficulty, a body of literature has emerged recently, and several frameworks that achieved promising accuracy results have been proposed. In this paper, we start by summarizing the quantization techniques used generally in literature. Then, we present a thorough survey of the mixed-precision frameworks, categorized according to their optimization techniques such as reinforcement learning and quantization techniques like deterministic rounding. Furthermore, the advantages and shortcomings of each framework are discussed, where we present a juxtaposition. We finally give guidelines for future mixed-precision frameworks.

연구 동기 및 목표

• 딥 신경망의 계층 간 비트폭 할당을 최적화하는 혼합 정밀도 프레임워크를 체계적으로 조사하기 위해.
• 혼합 정밀도 양자화에서 모델 정확도, 계산 효율성, 하드웨어 제약 조건 간의 상충 관계를 분석하기 위해.
• 강화 학습, 결정론적 반올림, 공동 프루닝-양자화를 포함한 기존 최적화 기법의 강점과 한계를 평가하기 위해.
• 향후 하드웨어 인식형, 런타임 구성 가능형, 정확도가 견고한 혼합 정밀도 프레임워크 설계를 위한 실질적인 지침을 제공하기 위해.
• 의료 응용 프로그램과 같은 개인정보 민감성 시스템에 대한 배포, 검색 공간 복잡도, 동적 자원 적응성과 같은 열린 과제를 규명하기 위해.

제안 방법

• 강화 학습, 미분 가능 탐색, 결정론적 반올림을 기반으로 한 최적화 기법에 따라 혼합 정밀도 프레임워크를 분류하기 위해.
• 학습 후 양자화, 재학습 기반 양자화, 비균일 양자화기를 포함한 양자화 방법을 조사하여 저정밀도 제약 조건 하에서도 정확도를 유지하기 위해.
• 계층별, 채널별, 파라미터별 비트폭 할당 전략을 분석하여 정밀도와 효율성 간의 상충 관계를 평가하기 위해.
• 학습 가능한 게이트와 크기 기반 임계값을 사용하는 하이브리드 프레임워크(예: APQ, OPQ, Bayesian Bits)를 평가하여 동시에 양자화와 프루닝을 최적화하는 방식을 분석하기 위해.
• ImageNet, CIFAR-10 등의 데이터셋과 AlexNet, ResNet-18, ResNet-20 등의 모델을 대상으로 벤치마킹을 수행하여 MXPDNN과 BNN 간의 상위 1위 정확도를 비교하기 위해.
• 하드웨어 인식성, 런타임 유연성, 모델 압축-정확도 균형을 중시하는 프레임워크 설계 분류 체계를 제안하기 위해.

실험 결과

연구 질문

• RQ1 강화 학습 및 결정론적 반올림과 같은 다양한 최적화 기법이 혼합 정밀도 DNN의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ2 표준 벤치마크에서 고정 정밀도 대비 혼합 정밀도 프레임워크 간의 상위 1위 정확도 및 에너지 효율성 격차는 어느 정도인가?
• RQ3 공동 양자화 및 프루닝 전략이 정확도를 훼손하지 않고 모델 압축을 얼마나 향상시키는가?
• RQ4 혼합 정밀도 프레임워크는 런타임 시 동적 하드웨어 자원 제약 조건에 어떻게 적응시킬 수 있는가?
• RQ5 정확도, 효율성, 하드웨어 호환성을 균형 잡는 미래의 혼합 정밀도 프레임워크 설계를 위한 핵심 원칙은 무엇인가?

주요 결과

• SLWP 및 TSQ와 같은 혼합 정밀도 프레임워크는 BNN보다 높은 상위 1위 정확도를 달성하며, TSQ는 AlexNet 기반 ImageNet에서 58.0%의 정확도를 기록했고, SLWP는 52.54%였다.
• ResNet-18에서는 DQ 프레임워크가 혼합 정밀도 환경에서 70.66%의 상위 1위 정확도를 달성했으며, BNN 기반 기준인 CBCN의 61.4%보다 뛰어나다.
• CIFAR-10의 ResNet-20에서 MXPDNN은 DQ와 같이 92.6%의 상위 1위 정확도를 기록했고, BNN인 BBG의 92.5%와 거의 유사하여 혼합 정밀도에서도 정확도 손실가 최소화됨을 시사한다.
• Bayesian Bits에서 학습 가능한 게이트를 사용하면 각 파라미터별로 비트폭을 동적으로 조정할 수 있으며, 저비트폭 채널을 비활성화하여 프루닝을 수행할 수 있다.
• OPQ는 라그랑주 승수와 뉴턴-라프슨 방법을 사용해 프루닝 비율을 최적화 문제로 공식화함으로써 일괄적 프루닝과 양자화를 수행한다.
• 계층별 비트폭 조합의 지수적 증가로 인해 수동 또는 브루트 포스 할당은 비현실적이며, 자동화되거나 학습 기반의 할당 전략이 필수적이다.