[논문 리뷰] Per-Tensor Fixed-Point Quantization of the Back-Propagation Algorithm

Charbel Sakr, Naresh R. Shanbhag|arXiv (Cornell University)|2018. 12. 31.

Tensor decomposition and applications참고 문헌 34인용 수 9

한 줄 요약

이 논문은 역전파 알고리즘의 모든 구성 요소—가중치, 활성화, 기울기, 가중치 누적값—에 대해 텐서별 고정점 양자화를 체계적이고 분석적으로 유도하는 방법을 제안한다. 이는 딥 네ural 네트워크의 완전한 고정점 학습을 가능하게 하며, CIFAR-10, CIFAR-100, SVHN 벤치마크에서 전체 정밀도 학습 정확도와 0.56% 이내의 정확도 손실을 유지하면서 각 레이어에서 최소 정밀도에 근접한 성능을 달성한다. 이로 인해 계산, 표현 및 통신 비용이 각각 최대 8배, 6배, 4배 감소한다.

ABSTRACT

The high computational and parameter complexity of neural networks makes their training very slow and difficult to deploy on energy and storage-constrained computing systems. Many network complexity reduction techniques have been proposed including fixed-point implementation. However, a systematic approach for designing full fixed-point training and inference of deep neural networks remains elusive. We describe a precision assignment methodology for neural network training in which all network parameters, i.e., activations and weights in the feedforward path, gradients and weight accumulators in the feedback path, are assigned close to minimal precision. The precision assignment is derived analytically and enables tracking the convergence behavior of the full precision training, known to converge a priori. Thus, our work leads to a systematic methodology of determining suitable precision for fixed-point training. The near optimality (minimality) of the resulting precision assignment is validated empirically for four networks on the CIFAR-10, CIFAR-100, and SVHN datasets. The complexity reduction arising from our approach is compared with other fixed-point neural network designs.

연구 동기 및 목표

• 딥 네URAL 네트워크의 진정한 고정점 학습 간극을 해소하기 위해, 가중치, 활성화, 기울기, 누적값을 포함한 모든 네트워크 구성 요소를 고정점 산술로 양자화할 수 있도록 보장한다.
• 고정점 역전파에서의 양자화 노이즈, 동적 범위의 불확실성, 상호의존적인 정밀도 트레이드오���, 학습 불안정성 등의 과제를 해결한다.
• 통계적 유사성을 보장하는 분석 기반의 정밀도 할당 전략을 개발한다.
• 동적 범위가 사전에 알려지지 않은 상황에서도 완전한 고정점 학습이 가능하고 효율적임을 입증한다.
• 할당된 정밀도가 이론적 최소값과 기존 고정점 설계에 비해 근사적으로 최적임을 비교 검증한다.

제안 방법

• 네트워크 텐서의 통계적 성질, 특히 기울기의 공간적 분산과 정방형 자코비안의 특이값을 사용하여 각 레이어의 정밀도 요구사항을 분석적으로 유도한다.
• 양자화 오차 한계를 기반으로 각 텐서 유형에 필요한 비트 수를 추정하기 위해 정밀도 동적 범위(PDR) 모델을 활용한다.
• 재학습 없이도 정밀도 할당이 가능하도록 기준이 되는 전체 정밀도 네트워크를 활용하여 동적 범위 및 오차 특성을 정보로 제공한다.
• 양자화 노이즈를 제어하기 위해 자코비안 행렬의 최대 특이값과 기울기 텐서의 분산을 기반으로 양자화 단계 크기를 계산한다.
• 각 레이어에서 텐서 유형(가중치, 활성화, 가중치 기울기, 활성화 기울기, 가중치 누적값)에 대해 별도의 비트 폭을 할당한다.
• CIFAR-10, CIFAR-100, SVHN에서의 실증적 평가를 통해 정밀도 할당을 검증하여 수렴성과 정확도 유지 여부를 확보한다.

실험 결과

연구 질문

• RQ1 역전파 알고리즘의 모든 구성 요소—가중치, 활성화, 기울기, 누적값—이 고정점 산술로 양자화되더라도 학습 수렴성과 정확도를 손상시키지 않고 가능한가?
• RQ2 각 텐서 유형에 대해 전체 정밀도 학습과 통계적 유사성을 유지하기 위해 필요한 최소 레이어별 비트 폭는 얼마인가?
• RQ3 특히 잔차 네트워크에서 다양한 네트워크 아키텍처의 레이어 간 정밀도 요구사항은 어떻게 변화하는가?
• RQ4 동적 범위가 사전에 알려지지 않은 상황에서도 정밀도를 근사 최소로 유지하면서 학습 안정성과 정확도를 확보할 수 있는가?
• RQ5 제안된 고정점 학습은 기존 고정점 및 양자화 학습 방법에 비해 효율성과 정확도 면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 모든 테스트 벤치마크(CIFAR-10, CIFAR-100, SVHN)에서 전체 정밀도 학습 대비 정확도 손실이 0.56% 미만으로 유지되며, 완전한 고정점 학습을 달성한다.
• 정밀도 할당이 이론적 최소값에서 각 텐서당 1비트 이내에 머무르며 비트 할당의 근사 최적성을 입증한다.
• 가중치 정밀도는 입력 레이어에서 출력 레이어로 갈수록 감소하는 반면, 활성화 기울기와 가중치 누적값의 정밀도는 깊이가 깊어질수록 증가한다.
• 잔차 네트워크에서는 레이어 간 정밀도 요구사항이 균일하게 나타나, 양자화 감도에 대한 아키텍처 불변성을 시사한다.
• 기존 전체 정밀도 학습 및 고정점 설계에 비해 계산 비용을 최대 8배, 표현 비용을 최대 6배, 통신 비용을 최대 4배 감소시킨다.