[논문 리뷰] WRPN: Wide Reduced-Precision Networks

Asit Mishra, Eriko Nurvitadhi외 2명|arXiv (Cornell University)|2017. 09. 04.

Advanced Neural Network Applications참고 문헌 20인용 수 181

한 줄 요약

WRPN은 넓은 층을 가진 심층 신경망을 저정밀 활성화 및 가중치로 학습하고 실행하여, 전체 정밀 baselines와 동등하거나 더 나은 정확도를 달성하는 동시에 메모리, 대역폭 및 에너지를 크게 줄이며, 하드웨어 친화적 양자화와 AlexNet, ResNet-34, Inception-BN 변형에서의 결과를 제공합니다.

ABSTRACT

For computer vision applications, prior works have shown the efficacy of reducing numeric precision of model parameters (network weights) in deep neural networks. Activation maps, however, occupy a large memory footprint during both the training and inference step when using mini-batches of inputs. One way to reduce this large memory footprint is to reduce the precision of activations. However, past works have shown that reducing the precision of activations hurts model accuracy. We study schemes to train networks from scratch using reduced-precision activations without hurting accuracy. We reduce the precision of activation maps (along with model parameters) and increase the number of filter maps in a layer, and find that this scheme matches or surpasses the accuracy of the baseline full-precision network. As a result, one can significantly improve the execution efficiency (e.g. reduce dynamic memory footprint, memory bandwidth and computational energy) and speed up the training and inference process with appropriate hardware support. We call our scheme WRPN - wide reduced-precision networks. We report results and show that WRPN scheme is better than previously reported accuracies on ILSVRC-12 dataset while being computationally less expensive compared to previously reported reduced-precision networks.

연구 동기 및 목표

• 비전 작업을 위한 DNN의 학습/추론에서 메모리 및 계산 효율성의 도전과제를 제시하고, 활성화 맵을 주요 메모리 부담으로 삼아 초점을 맞춥니다.
• 활성화와 가중치를 줄이되 층 폭을 넓여 정확도를 유지하는 WRPN을 제안합니다.
• 이미지넷에서 여러 아키텍처에 대해 넓고 저정밀 네트워크가 기준 정확도에 도달하거나 이를 능가할 수 있음을 보여줍니다.
• GPU, FPGA, ASIC에서의 하드웨어 영향 및 잠재적 효율 향상을 평가합니다.

제안 방법

• 간단한 클리핑-반올림 방식으로 활성화를 각 층에서 4비트 또는 2비트로 양자화하고 가중치를 2비트 또는 1비트 또는 4비트로 양자화합니다.
• 저정밀도에 의한 정보 손실을 보상하기 위해 층당 필터 맵 수(폭)를 늘려 정확도를 보존하거나 향상시킵니다.
• WRPN 양자화와 폭으로 처음부터 엔드투엔드로 네트워크를 학습하고 AlexNet, ResNet-34, Inception-BN 변형에서 전체 정밀 기준선과 비교합니다.
• 양자화된 노드를 통해 역전파에 대해 직통 추정기(STE)를 사용하고, k비트 표현(k>1)에 대해 간단한 최소-최대 클리핑 및 반올림, 이진의 경우에는 BWN과 유사한 처리를 적용합니다.
• 컴퓨트 비용을 FMA 연산 수의 곱과 활성화 폭과 가중치 폭의 합의 곱으로 평가하고 이를 기준 FP32 계산 비용과 비교합니다.

실험 결과

연구 질문

• RQ1 네트워크 폭이 증가할 때 활성화 맵의 정밀도가 전체 정밀도 이하로 줄어들어도 정확도에 해를 끼치지 않을까?
• RQ2 저정밀 연산자를 사용하면서 네트워크를 넓히면 정보 손실을 보상하고 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 ImageNet에서 표준 비전 아키텍처 전반에 걸친 WRPN의 정확도와 하드웨어 효율성 균형은 무엇인가?
• RQ4 AlexNet에 비해 ResNet-34 및 Inception-BN 같은 더 깊은 네트워크에서 WRPN 구성이 어떻게 수행되는가?
• RQ5 WRPN의 저정밀 regime가 실질적으로 GPU/FPGA/ASIC의 하드웨어 성능에 미치는 영향은 무엇인가?

주요 결과

• 네트워크를 확장하면 활성화가 4비트이고 가중치가 2비트인 경우 AlexNet에서 기준 정확도와 일치할 수 있습니다.
• 4-bit 활성화와 2-bit 가중치로 필터 맵 수를 두 배로 늘리면 AlexNet의 정확도가 전체 정밀 기준선과 동등해지며(표는 4b A/2b W, 2x-wide가 동등 정확도 달성을 보여줌).
• ResNet-34의 경우, 2-bit 가중치와 4-bit 활성화는 2배 확장에서도 동등 정확도를 유지하며, 4-bit A 및 2-bit W도 동등을 달성하고, 2-bit A 및 W(바이너리/트리진리) 변형은 더 큰 폭으로 근접할 수 있습니다.
• 배치 정규화된 Inception에서 4-bit 활성화와 4-bit 가중치를 사용하고 필터 뱅크를 두 배로 늘리면 거의 기준에 근접한 정확도(71.63 대 71.64)를 달성합니다).
• WRPN으로 확장은 일반적으로 원시 계산 연산을 증가시키지만 피연산자의 비트폭 감소가 상당한 효율 향상을 제공하며, FPGA와 ASIC는 FP32 대비 우호적인 효율(6.5x ~ 100x)을 보이고, GPU의 이득은 더 보수적입니다.
• 더 넓은 네트워크에서의 이진/삼진 구성은 ResNet-34 및 AlexNet에서 기준치에 근접한 정확도나 최첨단 수준의 정확도를 달성하면서 계산 비용을 크게 줄일 수 있습니다.
• 전반적으로 4-bit 활성화와 2-bit 가중치는 정확도와 하드웨어 단순성을 균형 있게 달성하는 실용적인 강력 운영 지점으로 나타나며(예: 트리진 가중치로 곱셈기 없는 구현 가능).
• WRPN은 명확한 하드웨어 친화성을 보이며: FPGA 및 ASIC이 큰 효율 향상을 보이고, GPU는 원시 저정밀 지원의 한계로 이익이 더 제한적입니다.