[논문 리뷰] FleXOR: Trainable Fractional Quantization

Dongsoo Lee, Se Jung Kwon외 4명|arXiv (Cornell University)|2020. 09. 09.

Advanced Image and Video Retrieval Techniques인용 수 3

한 줄 요약

이 논문은 신경망에 통합된 XOR 게이트 네트워크를 사용하여 하위 1비트 무게 압축을 가능하게 하는 학습 가능한 분수형 양자화 방법인 FleXOR를 제안한다. 역전파를 위해 미분 가능한 $\text{anh}(x)$ 활성화 함수를 사용하여 XOR 연산을 모델링함으로써, 학습 중 최적의 비트 패턴을 학습하게 되어, MNIST, CIFAR-10 및 ImageNet에서 이진 신경망보다 높은 정확도와 더 작은 모델 크기를 달성한다.

ABSTRACT

Quantization based on the binary codes is gaining attention because each quantized bit can be directly utilized for computations without dequantization using look-up tables. Previous attempts, however, only allow for integer numbers of quantization bits, which ends up restricting the search space for compression ratio and accuracy. In this paper, we propose an encryption algorithm/architecture to compress quantized weights so as to achieve fractional numbers of bits per weight. Decryption during inference is implemented by digital XOR-gate networks added into the neural network model while XOR gates are described by utilizing $ anh(x)$ for backward propagation to enable gradient calculations. We perform experiments using MNIST, CIFAR-10, and ImageNet to show that inserting XOR gates learns quantization/encrypted bit decisions through training and obtains high accuracy even for fractional sub 1-bit weights. As a result, our proposed method yields smaller size and higher model accuracy compared to binary neural networks.

연구 동기 및 목표

• 기존 방법에서 정수 비트 수만 허용하는 제한을 극복하기 위해.
• 무게당 분수비트 비율로 압축을 가능하게 하여 모델 압축을 위한 탐색 공간을 확장하기 위해.
• XOR 게이트 네트워크를 사용하여 양자화된 가중치의 엔드 투 엔드 학습을 지원하는 미분 가능한 아키텍처를 설계하기 위해.
• 이진 신경망에 비해 더 높은 모델 정확도와 더 작은 모델 크기를 달성하기 위해.

제안 방법

• 추론 중 탈양자화 없이도 복호화를 수행하기 위해 디지털 XOR 게이트 네트워크를 신경망에 직접 통합한다.
• 역전파 중 기울기 흐름을 가능하게 하기 위해 XOR 연산에 대한 미분 가능한 근사치로 $\text{anh}(x)$를 사용한다.
• 분수비트 양자화를 위한 최적의 비트 패턴을 학습하기 위해 네트워크를 엔드 투 엔드로 학습한다.
• 학습 가능한 XOR 논리 구조를 사용하여 가중치를 하위 1비트 표현으로 압축한다.
• 비트 결정을 학습 중 최적화하는 학습 가능한 양자화 기법을 적용한다.
• XOR 기반 인코딩을 통해 각 가중치에 대해 비정수 비트 할당을 允허함으로써 분수비트 비율을 지원한다.

실험 결과

연구 질문

• RQ1 분수비트 양자화가 미분 가능하고 학습 가능한 방식으로 달성될 수 있는가?
• RQ2 탈양자화 없이도 XOR 게이트 네트워크가 딥 신경망에 효과적으로 통합될 수 있는가?
• RQ3 $\text{anh}(x)$를 XOR의 대체 함수로 사용할 경우 효과적인 역전파와 모델 수렴이 가능할 수 있는가?
• RQ4 제안된 방법이 하위 1비트 압축에서 이진 신경망에 비해 더 높은 정확도와 더 작은 모델 크기를 달성할 수 있는가?

주요 결과

• 제안된 FleXOR 방법은 분수하위 1비트 양자화 수준에서도 높은 정확도를 달성하여 비정수 비트 압축의 가능성을 입증한다.
• XOR 게이트 네트워크의 통합은 룩업 테이블 없이도 양자화된 가중치에 대한 직접 계산을 가능하게 하여 메모리 및 계산 오버헤드를 감소시킨다.
• XOR에 대한 미분 가능한 대체 함수로 $\text{anh}(x)$를 사용함으로써 효과적인 역전파와 엔드 투 엔드 학습이 가능하다.
• MNIST, CIFAR-10 및 ImageNet에서의 실험 결과, FleXOR는 이진 신경망에 비해 정확도와 압축 효율성 측면에서 모두 뛰어난 성능을 보였다.