[論文レビュー] FleXOR: Trainable Fractional Quantization

Dongsoo Lee, Se Jung Kwon+4 more|arXiv (Cornell University)|Sep 9, 2020

Advanced Image and Video Retrieval Techniques被引用数 3

ひとこと要約

本稿では、XORゲートネットワークをニューラルネットワークに統合することで、逆量子化を経ずに推論時に復号化を実行する、学習可能な分数ビット量子化手法FleXORを提案する。バックプロパゲーションにおける微分可能関数$ ext{anh}(x)$を用いてXOR演算をモデル化することで、学習中に最適なビットパターンを学習可能となり、MNIST、CIFAR-10、ImageNetにおいて、バイナリニューラルネットワークよりも高い精度とより小さなモデルサイズを達成する。

ABSTRACT

Quantization based on the binary codes is gaining attention because each quantized bit can be directly utilized for computations without dequantization using look-up tables. Previous attempts, however, only allow for integer numbers of quantization bits, which ends up restricting the search space for compression ratio and accuracy. In this paper, we propose an encryption algorithm/architecture to compress quantized weights so as to achieve fractional numbers of bits per weight. Decryption during inference is implemented by digital XOR-gate networks added into the neural network model while XOR gates are described by utilizing $ anh(x)$ for backward propagation to enable gradient calculations. We perform experiments using MNIST, CIFAR-10, and ImageNet to show that inserting XOR gates learns quantization/encrypted bit decisions through training and obtains high accuracy even for fractional sub 1-bit weights. As a result, our proposed method yields smaller size and higher model accuracy compared to binary neural networks.

研究の動機と目的

• 従来の手法における整数ビット数に限定された量子化ビット数の制限を克服すること。
• 重み1つあたりの分数ビットレートでの圧縮を可能にし、モデル圧縮の探索空間を拡張すること。
• XORゲートネットワークを用いた、量子化重みのエンドツーエンド学習を可能にする微分可能アーキテクチャを設計すること。
• バイナリニューラルネットワークよりも高いモデル精度とより小さなモデルサイズを達成すること。

提案手法

• 推論時に逆量子化を経ずに復号化を実行するため、デジタルXORゲートネットワークをニューラルネットワークに直接統合する。
• バックプロパゲーション中の勾配伝播を可能にするために、XOR演算の微分可能近似関数として$ ext{anh}(x)$を用いる。
• エンドツーエンドで学習を実行し、分数ビット量子化に最適なビットパターンを学習する。
• 学習可能なXOR論理を用いて、重みを1ビット未塔の表現に圧縮する。
• ビット決定を学習中に最適化する、学習可能な量子化スキームを採用する。
• XORベースの符号化により、重み1つあたりの非整数ビット割り当てを可能にし、分数ビットレートをサポートする。

実験結果

リサーチクエスチョン

• RQ1 分数ビット量子化を微分可能かつ学習可能な方法で達成できるか？
• RQ2 XORゲートネットワークを深層ニューラルネットワークに効果的に統合し、逆量子化を経ずに推論を実行できるか？
• RQ3 XORの代替関数として$ ext{anh}(x)$を用いることで、効果的なバックプロパゲーションとモデル収束が可能か？
• RQ4 提案手法は、1ビット未塔の圧縮において、バイナリニューラルネットワークよりも高い精度とより小さなモデルサイズを達成できるか？

主な発見

• 提案されたFleXOR手法は、分数ビット未塔の量子化レベルでも高い精度を達成しており、非整数ビット圧縮の実現可能性を示している。
• XORゲートネットワークの統合により、ルックアップテーブルを用いずに量子化重み上で直接計算が可能となり、メモリおよび計算オーバーヘッドが低減される。
• XORの微分可能代替関数として$ ext{anh}(x)$を用いることで、効果的なバックプロパゲーションとエンドツーエンド学習が可能となった。
• MNIST、CIFAR-10、ImageNetにおける実験から、FleXORはバイナリニューラルネットワークよりもモデル精度と圧縮効率の両面で優れていることが明らかになった。