[논문 리뷰] Loss-aware Binarization of Deep Networks

Lu Hou, Quanming Yao외 1명|arXiv (Cornell University)|2016. 11. 05.

Face and Expression Recognition인용 수 112

한 줄 요약

본 논문은 Loss-Aware Binarization(LAB)을 제안합니다. 대각 Hessian 근사를 갖춘 근사 Newton 기반 방법으로 신경망 가중치를 이진화하면서 손실을 직접 최소화하고, 특히 심층 및 순환 신경망에서 기존의 이진화 방법보다 개선됩니다.

ABSTRACT

Deep neural network models, though very powerful and highly successful, are computationally expensive in terms of space and time. Recently, there have been a number of attempts on binarizing the network weights and activations. This greatly reduces the network size, and replaces the underlying multiplications to additions or even XNOR bit operations. However, existing binarization schemes are based on simple matrix approximation and ignore the effect of binarization on the loss. In this paper, we propose a proximal Newton algorithm with diagonal Hessian approximation that directly minimizes the loss w.r.t. the binarized weights. The underlying proximal step has an efficient closed-form solution, and the second-order information can be efficiently obtained from the second moments already computed by the Adam optimizer. Experiments on both feedforward and recurrent networks show that the proposed loss-aware binarization algorithm outperforms existing binarization schemes, and is also more robust for wide and deep networks.

연구 동기 및 목표

• 가중치와 가능하면 활성화까지 이진화하여 신경망의 크기와 계산량을 줄이는 것을 목표로 한다.
• 전체 정밀도 가중치를 근사하는 것만이 아니라 이진화된 가중치에 대해 직접 손실을 최소화한다.
• 프로ximal Newton 프레임워크 내에서 대각 Hessian를 활용한 2차 정보를 이용한다.
• 여러 데이터셋에 걸친 피드포워드 및 순환 네트워크에서 LAB의 강인성을 입증한다.

제안 방법

• 가중치 이진화를 ŵ로 최소화하는 문제로 형식화한다: min_ŵ ℓ(ŵ) subject to ŵ_l = α_l b_l with α_l > 0 and b_l ∈ {±1}^{n_l}.
• 손실의 2차 전개와 근사 단계를 사용하여 대각 Hessian D를 갖는 proximal Newton 업데이트를 적용한다.
• Derive a closed-form solution for the proximal step: α_l^t = ||D_l^{t-1} ⊙ w_l^t||_1 / ||D_l^{t-1}||_1 and b_l^t = sign(w_l^t) (Proposition 3.1).
• Adam 기반 추정치를 사용하여 대각 Hessian 대리인 D를 구성하고, 2차 모멘트를 이용해 업데이트를 프리콘디셔닝한다.
• 업데이트에는 풀-정밀도 가중치를 유지하고, 순전파/역전파 시 이진화하여 효율적인 학습을 가능하게 한다.
• LAB을 순환 신경망으로 확장하여 입력-→은닉 및 은닉-→은닉 가중치를 이진화하고, 곡률 인지 스케일링으로 exploding gradient를 해결한다.

실험 결과

연구 질문

• RQ1 손실을 직접 최소화하도록 이진화를 수행할 수 있을까, 전체 정밀도 가중치를 근사하는 것만이 아닌가?
• RQ2 대각 Hessian 기반의 proximal Newton 방법이 기존 스킴들(BinaryConnect, Binary-Weight-Network)보다 더 효과적인 이진화를 제공할 수 있는가, 특히 심층 또는 순환 아키텍처에서?
• RQ3 2차 정보를 포함하면 피드포워드 및 순환 네트워크에서 가중치를 이진화할 때 안정성과 성능이 향상되는가?
• RQ4 LAB가 표준 벤치마크(MNIST, CIFAR-10, SVHN) 및 LSTM 기반 언어 모델링에 미치는 영향은 무엇인가?

주요 결과

• LAB은 피드포워드 네트에서 MNIST, CIFAR-10, SVHN에서 기존의 이진화 방법보다 우수한 성능을 보인다.
• LAB은 테스트 오차가 1.180%(MNIST), 10.500%(CIFAR-10), 2.354%(SVHN)로 BinaryConnect 및 BWN를 능가하고 일부 경우에는 전체 정밀도에 근접하거나 이를 넘어선다.
• LAB2(가중치+활성화 이진화)가 여러 설정에서 BNN 및 XNOR-Net 변형을 능가한다.
• LAB은 광범위하고 깊은 네트워크에서도 강건성을 보이고, BinaryConnect가 어려움을 겪는 순환 네트워크에서 exploding gradient 문제를 완화한다.