[논문 리뷰] Two-Bit Networks for Deep Learning on Resource-Constrained Embedded Devices

Wenjia Meng, Zonghua Gu외 2명|arXiv (Cornell University)|2017. 01. 02.

Advanced Neural Network Applications참고 문헌 6인용 수 29

한 줄 요약

이 논문은 두 비트 네트워크(Two-Bit Networks, TBNs)를 제안하며, 이는 컨볼루션 신경망(Convolutional Neural Network, CNN)의 가중치를 네 가지 이산 값(−2, −1, 1, 2)으로 제약하여 효율적인 두 비트 인코딩을 가능하게 하는 모델 압축 기법이다. 기울기 기반 최적화와 스케일링 인자와 함께 미분 가능한 학습 알고리즘을 사용함으로써, TBNs는 메모리 및 계산 비용을 줄이며도 ImageNet에서 62.6%의 top-1 정확도와 84.5%의 top-5 정확도를 달성하여 이전의 이진 및 삼진 가중치 방법을 능가한다.

ABSTRACT

With the rapid proliferation of Internet of Things and intelligent edge devices, there is an increasing need for implementing machine learning algorithms, including deep learning, on resource-constrained mobile embedded devices with limited memory and computation power. Typical large Convolutional Neural Networks (CNNs) need large amounts of memory and computational power, and cannot be deployed on embedded devices efficiently. We present Two-Bit Networks (TBNs) for model compression of CNNs with edge weights constrained to (-2, -1, 1, 2), which can be encoded with two bits. Our approach can reduce the memory usage and improve computational efficiency significantly while achieving good performance in terms of classification accuracy, thus representing a reasonable tradeoff between model size and performance.

연구 동기 및 목표

• 제한된 메모리와 계산 능력을 가진 자원이 제한된 임베디드 장치에 큰 크기의 고정밀도 CNN을 구현하는 데 도전하는 문제를 해결한다.
• 기존의 이진 또는 삼진 가중치 방법에 비해 두 비트 가중치 표현을 더 효과적으로 활용하여 모델 압축 효율성을 향상시킨다.
• 강한 가중치 양자화에도 불구하고 높은 분류 정확도를 유지하여 엣지 장치에서의 실용적 구현을 가능하게 한다.
• 두 비트 가중치와 스케일링 인자를 동시에 최적화할 수 있는 미분 가능한 학습 절차를 개발한다.

제안 방법

• 실수 값의 컨볼루션 필터를 네 가지 이산 값(−2, −1, 1, 2)으로 양자화하며, 각 값은 두 비트로 표현 가능하다.
• 각 필터 W를 α·W̃로 근사하며, 여기서 W̃는 두 비트로 양자화된 필터이고 α > 0은 학습 가능한 스케일링 인자이다.
• L2 양자화 오차 ∥W − αW̃∥²₂를 최소화하기 위해 이중 단계 최적화를 수행한다: 먼저 가중치를 네 값으로 이산화한 후, 각 필터에 대해 최적의 α를 계산한다.
• 정방향 및 역방향 전파에서 양자화된 필터(W̃ 및 α)를 사용하는 확률적 경사 하강법(Stochastic Gradient Descent, SGD) 학습 알고리즘을 적용하지만, 실제 가중치는 기울기를 사용하여 업데이트한다.
• 정적 이산화를 적용한다: 각 가중치는 크기 기반으로 {−2, −1, 1, 2} 중 가장 가까운 값으로 매핑된다.
• 추론 시에는 오직 두 비트 가중치와 학습된 스케일링 인자만 사용되며, 덧셈, 뺄셈 및 비트 시프트를 통해 효율적인 계산이 가능하다.

실험 결과

연구 질문

• RQ1 ImageNet과 같은 대규모 데이터셋에서 기존의 이진 또는 삼진 가중치 방법에 비해 네 가지 이산 값(−2, −1, 1, 2)을 가지는 두 비트 가중치 표현이 더 높은 성능을 달성할 수 있는가?
• RQ2 학습 가능한 스케일링 인자 α의 사용이 고정된 양자화에 비해 두 비트로 양자화된 네트워크의 정확도를 얼마나 향상시키는가?
• RQ3 기울기 기반 최적화를 통해 양자화된 가중치에 적용된 제안된 학습 알고리즘이 강한 가중치 양자화에도 불구하고 높은 모델 용량을 유지하면서 메모리 및 계산 비용을 줄일 수 있는가?
• RQ4 실제 벤치마크에서 두 비트 네트워크가 최신의 가중치 압축 기법에 비해 모델 크기와 정확도 사이의 더 나은 트레이드오프를 달성할 수 있는가?

주요 결과

• 두 비트 네트워크는 ImageNet 검증 세트에서 top-1 정확도 62.6%와 top-5 정확도 84.5%를 달성하여 이진 가중치 네트워크, XNOR-Net, 삼진 가중치 네트워크를 모두 능가한다.
• 메모리 사용량이 크게 감소한다: ResNet-18 기준으로 메모리 사용량은 FP32 기준 104 MB에서 2비트 기준 26 MB로 4배 감소한다.
• 삼진 네트워크에서 사용하는 세 값(−1, 0, 1) 대비 네 값(−2, −1, 1, 2)을 사용함으로써 모델 용량이 증가하고 성능 향상이 이루어진다.
• 제안된 학습 알고리즘은 강한 가중치 양자화에도 불구하고 안정적인 수렴과 높은 정확도의 모델을 유지한다.
• 덧셈, 뺄셈 및 비트 시프트를 활용한 산술 연산 덕분에 계산 효율성이 향상되며, 이는 임베디드 시스템에서 하드웨어 우수성과 빠른 처리 속도를 제공한다.
• 이 방법은 CNN을 초월한 다른 딥 뉴럴 네트워크, 예를 들어 RNN에도 일반화 가능하다.