[논문 리뷰] No Multiplication? No Floating Point? No Problem! Training Networks for Efficient Inference

Shumeet Baluja, David Marwood외 2명|arXiv (Cornell University)|2018. 09. 24.

Topic Modeling참고 문헌 40인용 수 4

한 줄 요약

이 논문은 추론 시 부동소수점 연산, 곱셈, 비선형 함수 계산이 전혀 필요 없도록, 가중치와 활성화를 작은 이산 값 집합으로 양자화함으로써 깊이 신경망을 훈련시키는 방법을 제안한다. 훈련 중 주기적인 적응형 클러스터링을 사용함으로써, 분류 및 회귀 작업에서 거의 최적의 성능를 달성하면서도 표준 부동소수점 네트워크의 크기보다 3분의 1 이하로 모델 크기를 줄일 수 있다.

ABSTRACT

For successful deployment of deep neural networks on highly--resource-constrained devices (hearing aids, earbuds, wearables), we must simplify the types of operations and the memory/power resources used during inference. Completely avoiding inference-time floating-point operations is one of the simplest ways to design networks for these highly-constrained environments. By discretizing both our in-network non-linearities and our network weights, we can move to simple, compact networks without floating point operations, without multiplications, and avoid all non-linear function computations. Our approach allows us to explore the spectrum of possible networks, ranging from fully continuous versions down to networks with bi-level weights and activations. Our results show that discretization can be done without loss of performance and that we can train a network that will successfully operate without floating-point, without multiplication, and with less RAM on both regression tasks (auto encoding) and multi-class classification tasks (ImageNet). The memory needed to deploy our discretized networks is less than one third of the equivalent architecture that does use floating-point operations.

연구 동기 및 목표

• 청취 보조기기나 이어버드와 같은 매우 자원이 제약된 장치에 딥 네트워크를 구현할 수 있도록 한다.
• 추론 시 부동소수점 연산과 곱셈을 제거하여 전력 소모와 메모리 사용량을 줄인다.
• 가중치와 활성화의 극도로 강한 양자화에도 불구하고 높은 모델 성능를 유지한다.
• 작은 수의 고유한 값으로 가중치를 클러스터링하여 네트워크 용량과 효율성의 상호 교환 관계를 탐색한다.
• 동일한 아키텍처와 훈련 과정을 사용할 때, 양자화된 네트워크가 정밀도가 높은 모델의 성능을 따라하거나 뛰어넘을 수 있음을 보여준다.

제안 방법

• 출력 공간에서 균일 양자화를 사용하여 활성화를 고정된 사전 정의된 수준 집합(예: 32개 수준)으로 양자화한다.
• 훈련 중 주기적인 적응형 클러스터링을 적용하여 모든 네트워크 가중치를 작은 수의 고유한 값(예: 100~1000개)으로 그룹화함으로써 메모리 사용량을 줄인다.
• 비선형 함수의 양자화된 형태에 대해 기울기의 미분 가능 근사치를 사용하여, 양자화되지 않은 함수를 통해 역전파를 수행한다(예: tanhD).
• 사전에 계산된 양자화된 활성화와 클러스터링된 가중치의 곱을 저장하는 룩업 테이블(LUT)을 곱셈 연산으로 대체한다.
• 곱셈 및 덧셈 단계의 모든 입력이 사전에 알려진 범위 내에 있도록 보장하여 고정소수점 산술과 효율적인 하드웨어 매핑을 가능하게 한다.
• 부동소수점 정밀도를 사용해 표준 역전파 알고리즘으로 네트워크를 훈련하지만, 최종 모델은 정수 산술과 이산 값만을 사용해 배포한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 추론 시 부동소수점 연산, 곱셈, 비선형 함수 평가 없이도 훈련 및 배포가 가능한가?
• RQ2 주기적인 적응형 클러스터링을 통한 가중치 클러스터링은 극도로 낮은 메모리 사용량을 유지하면서도 모델 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 양자화된 활성화와 가중치는 분류 및 회귀 작업 모두에서 성능를 얼마나 잘 유지할 수 있는가?
• RQ4 양자화는 일반화에 어떤 영향을 미치며, 드롭아웃이 없는 상황에서 정규화 효과를 나타낼 수 있는가?
• RQ5 클러스터링 전략의 선택(전체층 대비 각 레이어별)은 모델 성능와 메모리 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 가중치를 소수의 고유한 값으로 클러스터링하여, 동등한 부동소수점 네트워크 대비 모델 메모리 크기를 3분의 1 이하로 줄였다.
• 양자화된 네트워크는 ImageNet 분류 및 오토인코딩 회귀 작업 모두에서 정밀도가 높은 네트워크와 동일하거나 뛰어난 성능를 달성했다.
• 주기적인 적응형 클러스터링을 통해 극도로 강한 양자화 상태에서도 안정적인 훈련이 가능했으며, 다양한 아키텍처에서 고정밀도를 유지했다.
• 고정소수점 산술과 룩업 테이블을 사용함으로써 추론 시 부동소수점 연산과 곱셈이 완전히 제거되었다.
• 이 방법은 정규화 효과를 보이며, 드롭아웃과 같은 추가 정규화 기법이 있거나 없거나에 관계없이 성능 향상이 관찰되었다.
• 최종 모델은 웨어러블 및 이어버드와 같은 초저전력 장치에 배포되어 원격 처리 없이도 현장에서 추론이 가능하다.