[논문 리뷰] Overwrite Quantization: Opportunistic Outlier Handling for Neural Network Accelerators.

Ritchie Zhao, Christopher De외 1명|arXiv (Cornell University)|2019. 10. 13.

Model Reduction and Neural Networks참고 문헌 11인용 수 4

한 줄 요약

Overwrite Quantization (OverQ)는 이웃하는 값을 덮어쓰는 방식으로 고립치 가중치 및 활성화에 대해 기회적으론 비트 폭을 증가시켜, 최소한의 면적 오버헤드로 DNN 가속기에서 정확한 4비트 추론을 가능하게 하는 하드웨어 기법이다. FPGA 프로토타입은 자원 소비가 미미한 수준에서 ResNet-18에 대해 뚜렷한 정확도 향상을 보여준다.

ABSTRACT

Outliers in weights and activations pose a key challenge for fixed-point quantization of neural networks. While outliers can be addressed by fine-tuning, this is not practical for machine learning (ML) service providers (e.g., Google, Microsoft) who often receive customers' models without the training data. Specialized hardware for handling outliers can enable low-precision DNNs, but incurs nontrivial area overhead. In this paper, we propose overwrite quantization (OverQ), a novel hardware technique which opportunistically increases bitwidth for outliers by letting them overwrite adjacent values. An FPGA prototype shows OverQ can significantly improve ResNet-18 accuracy at 4 bits while incurring relatively little increase in resource utilization.

연구 동기 및 목표

• 낮은 정밀도 형식을 사용할 경우 모델 정확도를 떨어뜨리는 고립치 문제를 해결하기 위해 고정소수점 양자화에서의 고립치 도전 과제를 다루기.
• 재학습을 위한 훈련 데이터에 접근할 수 없는 기계학습 서비스 제공자 환경에서 실용적인 저정밀도 추론을 가능하게 하기.
• 신경망 가속기에서 고립치 처리를 지원하면서도 하드웨어 면적 오버헤드를 최소화하기.
• 기존 DNN 가속기 파이프라인에 원활하게 통합될 수 있는 확장성 있고 효율적인 하드웨어 솔루션 설계하기.

제안 방법

• Overwrite Quantization는 가중치 또는 활성화 메모리 레이아웃의 인접한 값을 덮어쓰는 방식으로, 고립치 값에 대해 동적으로 비트 폭을 증가시킨다.
• 이 기법은 양자화 과정에서 고립치를 식별하고, 이를 비트 폭이 확장된 인접한 위치로 재할당하여 데이터 무결성을 유지한다.
• 하드웨어에 친화적인 양자화 체계는 재학습이 필요 없이 추론 단계에서 고립치 탐지 및 비트 폭 조정을 통합한다.
• 비트 폭 전환과 메모리 매핑을 관리하기 위한 컴act한 제어 논리가 사용되어 면적 오버헤드를 최소화한다.
• FPGA 프로토타입은 OverQ를 DNN 가속기 구현하여 ResNet-18에서의 효과성과 효율성을 검증한다.

실험 결과

연구 질문

• RQ1 재학습이나 훈련 데이터에 접근할 수 없는 환경에서 저정밀도 DNN 추론의 고립치 처리는 가능할까?
• RQ2 신경망 가속기에서 고립치 지원을 최소한의 면적 오버헤드로 어떻게 구현할 수 있을까?
• RQ3 기존의 양자화 방법에 비해 OverQ는 4비트 정밀도에서 모델 정확도를 어느 정도 향상시킬 수 있을까?
• RQ4 덮어쓰기 메커니즘은 실시간 추론 워크로드에서 높은 처리량과 낮은 지연을 유지할 수 있을까?

주요 결과

• OverQ는 4비트 양자화에서 ResNet-18의 정확도를 크게 향상시켜 표준 양자화 방법을 뛰어넘는다.
• FPGA 프로토타입은 고립치 처리에도 불구하고 자원 활용 증가가 미미하다는 것을 보여준다.
• 이 기법은 미세조정이 필요 없이 정확한 추론을 가능하게 하여, 훈련 데이터에 접근이 제한된 ML 서비스 제공자에게 적합하다.
• 이웃하는 값을 덮어쓰는 방식으로 OverQ는 최소한의 하드웨어 복잡도로 효과적인 고립치 비트 폭 확장을 달성한다.