[논문 리뷰] WRPN: Training and Inference using Wide Reduced-Precision Networks

Asit Mishra, Jeffrey Cook외 2명|arXiv (Cornell University)|2017. 04. 10.

Advanced Neural Network Applications참고 문헌 5인용 수 7

한 줄 요약

WRPN은 깊이 있는 신경망의 활성화 및 가중치 정밀도를 낮추면서도 정확도를 유지하거나 햖थ히는 새로운 훈련 및 추론 프레임워크를 제안한다. 이를 위해 네트워크 레이어의 너비를 넓혀 활성화 및 가중치를 저비트 폭(예: 4b 또는 2b)으로 양자화하고, 필터 매핑 수를 두 배로 늘림으로써 전체 정밀도 성능을 달성하면서도 계산, 메모리, 에너지 비용을 크게 감소시킨다. 이는 AlexNet과 ResNet에서 검증되었으며, 전체 정밀도 모델 대비 계산 비용의 14–15% 수준으로 구현되었다.

ABSTRACT

For computer vision applications, prior works have shown the efficacy of reducing the numeric precision of model parameters (network weights) in deep neural networks but also that reducing the precision of activations hurts model accuracy much more than reducing the precision of model parameters. We study schemes to train networks from scratch using reduced-precision activations without hurting the model accuracy. We reduce the precision of activation maps (along with model parameters) using a novel quantization scheme and increase the number of filter maps in a layer, and find that this scheme compensates or surpasses the accuracy of the baseline full-precision network. As a result, one can significantly reduce the dynamic memory footprint, memory bandwidth, computational energy and speed up the training and inference process with appropriate hardware support. We call our scheme WRPN - wide reduced-precision networks. We report results using our proposed schemes and show that our results are better than previously reported accuracies on ILSVRC-12 dataset while being computationally less expensive compared to previously reported reduced-precision networks.

연구 동기 및 목표

• 실시간 로봇 주행 및 임베디드 비전 응용 분야에서 깊이 있는 신경망의 높은 메모리 및 계산 비용을 해결하기 위해.
• 기존 연구가 가중치 양자화에만 집중한 것과는 달리, 활성화 및 가중치의 정밀도를 낮추되 모델 정확도를 손상시키지 않기 위해.
• 감소된 정밀도의 활성화로 인한 정확도 손실을 상쇄하기 위해 필터 매핑의 너비를 증가시키는 것이 효과적인지 탐색하기 위해.
• 임베디드 및 실시간 시스템에 효율적으로 구현 가능한 하드웨어 友好的한 양자화 기법을 설계하기 위해.
• 감소된 정밀도의 네트워크가 계산 비용은 낮추면서도 전체 정밀도 기준 모델보다 높은 정확도를 달성할 수 있는지 검증하기 위해.

제안 방법

• 활성화 값은 [0,1] 범위 내에서 k비트 고정소수점 표현으로 양자화하며, 공식 $ \frac{round((2^k - 1) \cdot A)}{2^k - 1} $ 를 사용한다.
• 가중치 값은 {-1,+1} 범위 내에서 k비트 고정소수점으로 양자화하며, $ \frac{round((2^{k-1} - 1) \cdot W)}{2^{k-1} - 1} $ 를 사용한다. 이때 한 비트는 부호를 위해 할당된다.
• 정밀도가 낮아짐에 따라 모델 용량을 유지하거나 향상시키기 위해 각 레이어의 필터 매핑 수를 두 배로 증가시킨다.
• 스케일링을 위해 부동소수점 상수를 사용하여 기울기 흐름을 유지하면서, 혼합 정밀도 양자화 텐서를 사용해 종단 간 훈련을 처음부터 수행한다.
• 전체 정밀도 텐서를 양자화된 표현으로 매핑하기 위해 애핀 변환을 사용하여 하드웨어 매핑을 효율적으로 가능하게 한다.
• 정확도 및 효율성 평가를 위해 ILSVRC-12 데이터셋에서 표준 모델인 AlexNet과 ResNet-34에 이 기법을 적용한다.

실험 결과

연구 질문

• RQ1 모델의 깊이 또는 너비를 늘리지 않고 활성화 정밀도를 32비트 이하로 낮춰도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 레이어 내에서 필터 매핑 수를 늘리는 것이 저정밀도 활성화로 인한 정확도 저하를 효과적으로 상쇄하는가?
• RQ3 가중치 및 활성화에 대한 하드웨어 친화적인 양자화 기법이 임베디드 및 실시간 시스템에 효율적인 구현을 가능하게 하는가?
• RQ4 WRPN 기법이 계산 및 메모리 비용을 줄이면서도 전체 정밀도 기준 모델보다 더 높은 정확도를 달성하는가?
• RQ5 높은 정확도를 확보하면서도 낮은 계산 오버헤드를 얻기 위해 정밀도 감소와 필터 매핑 넓힘 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 4비트 가중치와 2비트 활성화를 사용하며 필터 매핑을 2배로 늘인 AlexNet은 58.6%의 top-1 정확도를 달성했으며, 이는 전체 정밀도 기준 모델(57.2%)과 동일하고, 4비트 활성화를 사용할 경우 이를 초월한다.
• 4비트 가중치와 4비트 활성화를 사용하는 WRPN 변종 AlexNet은 58.6%의 top-1 정확도를 기록했으며, 이는 전체 정밀도 기준 모델보다 1.44% 높은 성능이다.
• 4비트/4비트 WRPN AlexNet 변종은 전체 정밀도 기준 모델 대비 총 계산 비용의 14%만을 차지하지만, 원자적인 FMA 연산 수는 3.9배 증가하였다.
• 4비트 가중치와 8비트 활성화를 사용하며 필터 매핑을 2배로 늘인 ResNet-34는 73.8%의 top-1 정확도를 달성했으며, 이는 전체 정밀도 기준 모델(73.2%)을 초월한다.
• 감소된 정밀도의 ResNet-34 변종은 총 계산 비용이 전체 정밀도 모델의 15.1%에 불과하여 뚜렷한 효율성 향상을 보였다.
• 제안된 양자화 기법은 하드웨어 친화적이며, 고정소수점 산술과 확장 가능한 스케일링 연산을 통해 임베디드 및 실시간 시스템에서 효율적인 구현이 가능하다.