[논문 리뷰] BinaryRelax: A Relaxation Approach For Training Deep Neural Networks With Quantized Weights

Penghang Yin, Shuai Zhang외 4명|arXiv (Cornell University)|2018. 01. 19.

Advanced Neural Network Applications참고 문헌 40인용 수 9

한 줄 요약

BinaryRelax는 양자화된 가중치를 가진 딥 네ural 네트워크를 훈련하기 위한 이중 단계의 리라크스 방법을 제안한다. 이 방법은 메로우 엔VELOP(Moreau envelope) 기반의 연속적인 정규화를 사용하여 가중치를 점차적으로 양자화된 값으로 이동시킨다. 이 접근법은 근사 직교 조건 하에서 증명 가능한 수렴성을 보이며, CIFAR 및 ImageNet에서 최고 성능을 기록한다.

ABSTRACT

We propose BinaryRelax, a simple two-phase algorithm, for training deep neural networks with quantized weights. The set constraint that characterizes the quantization of weights is not imposed until the late stage of training, and a sequence of \emph{pseudo} quantized weights is maintained. Specifically, we relax the hard constraint into a continuous regularizer via Moreau envelope, which turns out to be the squared Euclidean distance to the set of quantized weights. The pseudo quantized weights are obtained by linearly interpolating between the float weights and their quantizations. A continuation strategy is adopted to push the weights towards the quantized state by gradually increasing the regularization parameter. In the second phase, exact quantization scheme with a small learning rate is invoked to guarantee fully quantized weights. We test BinaryRelax on the benchmark CIFAR and ImageNet color image datasets to demonstrate the superiority of the relaxed quantization approach and the improved accuracy over the state-of-the-art training methods. Finally, we prove the convergence of BinaryRelax under an approximate orthogonality condition.

연구 동기 및 목표

• 저정밀도, 양자화된 가중치를 가진 딥 네ural 네트워크를 훈련하면서도 높은 정확도를 유지하는 데 도전한다.
• 양자화된 훈련에서 표준 프로젝션 확률적 경사하강법(PSGD)의 열악한 수렴성과 정체 문제를 극복한다.
• 최적화 중 하드 양자화 제약을 완화시켜 안정적이고 높은 정확도의 양자화 네트워크 훈련을 가능하게 하는 방법을 개발한다.
• 최적화 경로에서 실용적인 근사 직교 조건 하에서 훈련 과정의 수렴성을 보장한다.
• 기존 방법들인 BinaryConnect와 비교하여 CIFAR 및 ImageNet과 같은 기준 데이터셋에서 뛰어난 성능을 보여준다.

제안 방법

• 메로우 엔VELOP를 통해 딱딱한 양자화 집합 제약을 연속적으로 리라크스하며, 이는 양자화된 가중치 집합으로부터의 유클리드 거리의 제곱과 동치이다.
• 리라크스 파라미터를 사용해 정밀도가 높은(float) 가중치와 그에 해당하는 양자화된 버전 사이를 선형 보간함으로써 가상의 양자화된 가중치의 시퀀스를 유지한다.
• 계속 전략을 통해 점차 리라크스 파라미터를 증가시켜 시간이 지남에 따라 가중치가 양자화 상태로 이동하도록 한다.
• 두 번째 단계에서는 작은 학습률을 사용해 정확한 양자화를 적용하여 모든 가중치가 완전히 양자화되도록 보장한다.
• 표준 경사하강 단계와 float 가중치를 그들의 양자화된 버전과 혼합하는 가중 평균 갱신을 번갈아 적용한다.
• 최적화 이터레이트들 사이의 선 부분공간 간의 각도와 이터레이트의 상대적 변화를 포함하는 근사 직교 조건 하에서 수렴이 입증된다.

실험 결과

연구 질문

• RQ1 직접 투영 방법과 비교해 볼 때, 양자화 제약의 연속적 리라크스가 저정밀도 DNN의 훈련 안정성과 정확도를 향상시키는가?
• RQ2 먼저 제약을 리라크스하고 나서 정확한 양자화를 적용하는 이중 단계 훈련 전략이 종단 간 양자화보다 더 나은 일반화 성능을 내는가?
• RQ3 비볼록, 비연속적인 양자화 훈련 맥락에서 리라크스 기반 최적화 방법이 의미 있는 해에 수렴할 수 있는 조건은 무엇인가?
• RQ4 기존의 양자화 방법들인 BinaryConnect와 비교해 표준 벤치마크에서 정확도와 강건성 면에서 본 방법은 어떻게 성능을 내는가?
• RQ5 메로우 엔VELOP는 딱딱한 양자화 제약을 부드럽고 미분 가능한 정규화로 변환하는 데 어떤 역할을 하는가?

주요 결과

• BinaryRelax는 BinaryConnect와 같은 기존의 양자화 방법들과 비교해 CIFAR-10과 ImageNet에서 최고 수준의 검증 정확도를 달성한다.
• 특히 더 깊은 네트워크에서 BinaryConnect를 뛰어넘는 성능을 보이며, 손실 경로가 더 복잡하고 임의의 국소 최소값에 쉽게 갇히기 쉬운 환경에서 유의미한 성능 향상을 보인다.
• 최적화 이터레이트에 대한 근사 직교 조건 하에서 BinaryRelax의 수렴성이 기대값 기반으로 증명되었다.
• 알고리즘은 프로젝션 확률적 경사하강법에서 흔히 발생하는 작은 학습률로 인한 정체 문제를 피하면서도 훈련 안정성이 향상됨을 보였다.
• 점차적으로 증가하는 리라크스 파라미터를 사용한 계속 전략은 수렴성을 해치지 않으면서도 가중치를 양자화 집합으로 효과적으로 이동시킨다.
• 작은 학습률을 사용한 최종 단계에서의 정확한 양자화는 모든 가중치가 완전히 양자화되도록 보장하여 저전력 장치에서의 효율적인 추론을 가능하게 한다.