[논문 리뷰] Precision Highway for Ultra Low-Precision Quantization

Eunhyeok Park, Dongyoung Kim외 2명|arXiv (Cornell University)|2018. 12. 24.

Advanced Neural Network Applications참고 문헌 24인용 수 10

한 줄 요약

이 논문은 누적 양자화 오차를 줄이기 위해 종단간 고정밀도 정보 흐름을 확립함으로써 초저밀도 양자화(2–3비트)를 가능하게 하는 네트워크 수준 아키텍처인 정밀도 하이웨이를 제안한다. 이 방법은 잔차 및 순환 네트워크를 통해 전체 고정밀도 활성화 경로를 유지하여 3비트 ResNet-50에서 정확도 손실 없이, 2비트 양자화에서는 오직 2.45%의 Top-1 정확도 감소만을 보이며, 최신 가속기에서 거의 무시할 수 없는 하드웨어 오버헤드를 유발한다.

ABSTRACT

Neural network quantization has an inherent problem called accumulated quantization error, which is the key obstacle towards ultra-low precision, e.g., 2- or 3-bit precision. To resolve this problem, we propose precision highway, which forms an end-to-end high-precision information flow while performing the ultra low-precision computation. First, we describe how the precision highway reduce the accumulated quantization error in both convolutional and recurrent neural networks. We also provide the quantitative analysis of the benefit of precision highway and evaluate the overhead on the state-of-the-art hardware accelerator. In the experiments, our proposed method outperforms the best existing quantization methods while offering 3-bit weight/activation quantization with no accuracy loss and 2-bit quantization with a 2.45 % top-1 accuracy loss in ResNet-50. We also report that the proposed method significantly outperforms the existing method in the 2-bit quantization of an LSTM for language modeling.

연구 동기 및 목표

• 초저밀도 양자화 인fer에서 누적 양자화 오차 문제를 해결하기 위해, 특히 2–3비트에서의 도전 과제를 다루기 위해.
• 저밀도 계산 중 계층 간 오차 누적로 인한 깊은 네트워크의 정확도 저하를 줄이기 위해.
• 전방향(컨volutional) 및 순환 아키텍처 모두에 적용 가능한 일반화 가능한 네트워크 수준 솔루션을 설계하기 위해.
• 현대 가속기에서 제안된 방법의 하드웨어 효율성을 평가하여 에너지 및 면적 오버헤드를 최소화하기 위해.

제안 방법

• 입력에서 출력까지 고정밀도 활성화 흐름을 유지하는 정밀도 하이웨이 경로를 도입하여 저밀도 계산을 우회한다.
• 사전 활성화 및 사후 활성화 잔차 네트워크뿐 아니라 LSTM과 같은 순환 네트워크에도 정밀도 하이웨이를 적용한다.
• 스킵 연결과 고정밀도 전용 연산을 통해 고정밀도 정보를 유지하여 오차 누적를 최소화한다.
• 하이웨이 경로에서는 요소 간 곱셈과 덧셈 연산을 고정밀도(32비트)로만 사용하고, 주 계산 경로는 초저밀도(2–3비트)로 사용한다.
• 기존 네트워크 아키텍처에 구조적 개편 없이 하이웨이 경로를 원활하게 통합한다.
• 이미지 분류와 언어 모델링 각각에 대해 ResNet-18/50과 LSTM에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 종단간 고정밀도 정보 흐름이 초저밀도 양자화 네트워크에서 누적 양자화 오차를 효과적으로 줄일 수 있는가?
• RQ2 2–3비트 양자화에서 기존의 양자화 기법과 비교해 정밀도 하이웨이 방법의 정확도 및 하드웨어 효율성은 어떠한가?
• RQ3 정밀도 하이웨이 방법이 저밀도 설정에서 학습 안정성과 수렴에 얼마나 기여하는가?
• RQ4 이 방법이 사후 활성화 CNN 및 RNN을 포함한 다양한 네트워크 유형으로 일반화될 수 있는가?
• RQ5 현대 가속기에서 고정밀도 경로를 유지하는 데 실제 하드웨어 비용(면적 및 에너지)은 얼마인가?

주요 결과

• 정밀도 하이웨이를 통해 ResNet-50에서 3비트 가중치 및 활성화 양자화를 수행했을 때 정확도 손실 없이 78.45%의 Top-1 정확도를 달성하였다.
• ResNet-50의 2비트 양자화에서는 75.54%의 Top-1 정확도를 기록했으며, 전체 정밀도 기준으로 2.45%의 정확도 감소를 보였고, 이는 기존 방법보다 훨씬 우수하다.
• LSTM 언어 모델링에서, 2비트 양자화 시 퍼플렉서티를 14.1% 감소시켰다(133.25에서 114.44로), 이는 이전 작업을 능가한다.
• 하드웨어 평가 결과, 2비트 정밀도 하이웨이에 대해 추가로 3.9%의 에너지 소비 증가만을 보였고, 16비트에서 3비트로 전환 시 73.1%의 에너지 절감 효과를 얻었다.
• 고정밀도 연산 수는 매우 적다. 예를 들어 2비트 LSTM에서 800개의 저밀도 곱셈 연산당 1개의 32비트 요소 간 곱셈 뿐이므로 오버헤드는 거의 무시할 수 있다.
• 기존 최신 기술 대비 더 우수한 성능을 기록하였으며, 2비트 LSTM 양자화에서 퍼플렉서티 증가율이 23.3%(대비 39.4%)로 훨씬 낮아 우수한 강건성을 입증하였다.