[논문 리뷰] Extremely Low Bit Neural Network: Squeeze the Last Bit Out with ADMM

Cong Leng, Hao Li외 2명|arXiv (Cornell University)|2017. 07. 24.

Sparse and Compressive Sensing Techniques인용 수 79

한 줄 요약

본 논문은 초저비트 신경망의 학습을 이산적으로 제한된 문제로 형상화하고 ADMM으로 해결하며, 여러 아키텍처에서 ImageNet과 Pascal VOC에 대해 강력한 성능을 달성한다.

ABSTRACT

Although deep learning models are highly effective for various learning tasks, their high computational costs prohibit the deployment to scenarios where either memory or computational resources are limited. In this paper, we focus on compressing and accelerating deep models with network weights represented by very small numbers of bits, referred to as extremely low bit neural network. We model this problem as a discretely constrained optimization problem. Borrowing the idea from Alternating Direction Method of Multipliers (ADMM), we decouple the continuous parameters from the discrete constraints of network, and cast the original hard problem into several subproblems. We propose to solve these subproblems using extragradient and iterative quantization algorithms that lead to considerably faster convergency compared to conventional optimization methods. Extensive experiments on image recognition and object detection verify that the proposed algorithm is more effective than state-of-the-art approaches when coming to extremely low bit neural network.

연구 동기 및 목표

• 메모리 및 계산 효율성을 위해 심층 신경망을 극도로 낮은 비트 폭으로 압축할 필요성을 필요성으로 제시한다.
• 이러한 네트워크의 학습을 이산적으로 제약된 최적화 문제(혼합 정수 계획)로 모델링한다.
• ADMM을 사용하여 연속 가중치를 이산 제약과 분리해 해가 구하기 쉬운 하위 문제를 가능하게 한다.
• 근접(외추정) 및 반복 양자화 단계(proximal(Extragradient) 및 iterative quantization) 제안하여 하위 문제를 효율적으로 해결한다.
• 여러 아키텍처에 걸친 이미지 분류(ImageNet) 및 객체 탐지(Pascal VOC)에서 효과를 입증한다.

제안 방법

• 학습을 min_W f(W)로 형식화하고, 계층별 스케일링 인자 alpha_i를 갖는 0과 2의 거듭제곱으로 가중치를 부호화하는 제약 집합 C에 속하도록 한다.
• W = G로 표현되는 이산 보조 변수 G와 W를 ADMM으로 분리하고 증강 라그랑주항과 교호 업데이트를 도입한다.
• 수렴 가속을 위해 외추정법(Extragradient)을 사용해 근접 스텝을 풀이한다.
• 투영 스텝(이산)을 Q_i ∈ {0, ±1, ±2, ..., ±2^N} 및 alpha_i > 0인 조건에서 ||V_i - alpha_i Q_i||^2를 최소화하도록 (Q_i, alpha_i)를 반복적으로 풀어 풀이한다.
• 램다(lambda, 스케일된 이중 변수)를 통한 제약 위반 누적을 위한 듀얼 업데이트를 수행한다.
• 레이어별 이산 투영의 지역 최적점으로 수렴하도록 반복 양자화를 적용한다.

실험 결과

연구 질문

• RQ1 ADMM이 이산 가중치 제약을 연속 최적화에서 효과적으로 분리하여 극히 낮은 비트의 신경망을 학습할 수 있는가?
• RQ2 제안된 ADMM 기반 방법이 표준 CNN 아키텍처에서 최첨단 저비트 방법들(예: Binary Weight Network, Ternary Weight Network)과 어떻게 비교되는가?
• RQ3 다양한 아키텍처에서 대규모 데이터셋(ImageNet) 및 객체 탐지 벤치마크(Pascal VOC)에 대한 극도로 저비트 양자화의 성능 영향은 어떠한가?
• RQ4 레이어별 스케일 인자 alpha_i가 최적화 및 최종 정확도에 어떻게 영향을 미치는가?

주요 결과

• 본 방법은 AlexNet 및 VGG-16에서 전체 정밀도 대비 3비트만으로 손실 없는 압축을 달성한다.
• ResNet-18에서 이진 양자화는 BWN보다 상위 1위(Top-1)에서 약 4포인트, 상위 5위(Top-5)에서 약 3.2포인트 더 나은 성능을 보이고; 삼진은 각각 TWN보다 약 5.2포인트 및 3.3포인트 우수하다.
• ResNet-50의 경우 이진 및 삼진 양자화가 BWN 및 TWN을 상당히 능가하며 상위 1위/상위 5위 정확도에서 주목할 만한 이점을 보인다.
• GoogleNet에서 이진 및 삼진 양자화는 ResNet보다 성능 저하가 크지만 여전히 BWN/TWN보다 우수하며, INT8로 보정된 1x1 커널의 포함으로 결과가 개선된다.
• TTN 및 INQ와 비교하여 제안된 삼진 접근법은 AlexNet과 ResNet-18에서 경쟁력 있거나 우수한 Top-1/Top-5 정확도를 달성한다(예: AlexNet에서 TTN: 0.575/0.797; 본 방법: 0.582/0.806; ResNet-18에서 TTN: 0.666/0.872; INQ: 0.660/0.871; 본 방법: 0.670/0.875).
• 객체 탐지(Pascal VOC with SSD)에서 삼진 및 저비트 양자화는 전체 정밀도와 비교해 경쟁력 있는 mAP를 유지하며, VGG16+SSD에서 손실은 미미하고 Darknet+SSD에서 완만한 손실이 있다.