[論文レビュー] DSConv: Efficient Convolution Operator

Marcelo Gennari, Roger Fawcett+1 more|arXiv (Cornell University)|Jan 7, 2019

Advanced Neural Network Applications参考文献 44被引用数 31

ひとこと要約

DSConvは、重みと活性化の確率分布を保持する一方で、フル精度演算を低ビット整数演算に置き換える、革新的な量子化畳み込み演算子を導入する。微調整なしに、ResNet、DenseNet、GoogLeNet、AlexNet、VGG-Netの複数のアーキテクチャで4ビット量子化を用いて、1%未満の精度損失で最先端の性能を達成し、ラベルなしデータを用いた distillation を用いることでさらに精度を向上させる。

ABSTRACT

Quantization is a popular way of increasing the speed and lowering the memory usage of Convolution Neural Networks (CNNs). When labelled training data is available, network weights and activations have successfully been quantized down to 1-bit. The same cannot be said about the scenario when labelled training data is not available, e.g. when quantizing a pre-trained model, where current approaches show, at best, no loss of accuracy at 8-bit quantizations. We introduce DSConv, a flexible quantized convolution operator that replaces single-precision operations with their far less expensive integer counterparts, while maintaining the probability distributions over both the kernel weights and the outputs. We test our model as a plug-and-play replacement for standard convolution on most popular neural network architectures, ResNet, DenseNet, GoogLeNet, AlexNet and VGG-Net and demonstrate state-of-the-art results, with less than 1% loss of accuracy, without retraining, using only 4-bit quantization. We also show how a distillation-based adaptation stage with unlabelled data can improve results even further.

研究の動機と目的

• ラベル付き学習データにアクセスできない状態でも、事前学習済みCNNの効率的かつ低ビット量子化を可能にすること。
• 重みと活性化の確率分布を保持することで、量子化中に高いモデル精度を維持すること。
• 速度、メモリ、精度の間の調整可能なトレードオフをサポートする、標準畳み込みの即座に差し替え可能な代替手段を提供すること。
• 完全精度の重みが利用可能な場合に、ラベルなしデータを用いた distillation を用いて、量子化モデルの性能を向上させること。
• 特に4ビットにおいて、複数の標準アーキテクチャで低ビット量子化分野における最先端の結果を示すこと。

提案手法

• DSConvは畳み込みカーネルを、元のカーネルと同じサイズの低精度成分と、高精度の分布シフト成分（例：カーネルごとに1つのFP32値）に分解する。
• 分布の類似性を保つために、重みと活性化の両方をブロック浮動小数点に類似したアプローチで量子化する。
• 調整可能なブロックサイズハイパーパrameterが、精度と計算効率のトレードオフを制御する。
• 演算単位をFP32 MACユニットから、整数演算またはビット単位演算に置き換えることで、高速な推論を実現する。
• ラベルなしデータと元の事前学習済みモデルを用いた、distillationに基づく最適化段階により、ラベルなしで重みを精緻化し、精度を向上させる。
• 標準畳み込みの即座に差し替え可能な設計となっており、デプロイ時に再訓練を必要としない。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNの4ビット量子化を、再訓練やラベル付きデータにアクセスせずに、高い精度で達成できるか？
• RQ2 低ビット量子化の過程で、重みと活性化の統計的分布をどのように保持することで、モデル精度を維持できるか？
• RQ3 ブロックサイズハイパーパrameterが、量子化推論における精度と効率のトレードオフに与える影響は何か？
• RQ4 ラベルなしデータを用いた distillation は、ラベル付きデータが利用できない状況でも、量子化モデルの精度をさらに向上させられるか？
• RQ5 多様なアーキテクチャを対象として、DSConvは、精度と効率の面で最先端の量子化手法と比較してどう異なるか？

主な発見

• DSConvは、再訓練なしに、ResNet、DenseNet、GoogLeNet、AlexNet、VGG-Netの全アーキテクチャで、重みと活性化を4ビットに量子化しても1%未満の精度損失を達成する。
• ImageNetでは、DSConvが4ビット量子化を用いたDenseNet121でトップ1精度75.2%を達成し、LQ-Nets（74.2%） や DoReFa-Net（67.7%） よりも優れている。
• ResNet18では、5ビット重みとブロックサイズ128を用いた場合、トップ1精度76.2%を達成し、フル精度ベースラインの75.0%を上回る。
• 2ビット量子化とブロックサイズ32を用いた場合、ResNet50ではフル精度精度の98.5%を維持し、最小限の劣化を示す。
• ラベルなしデータを用いた distillation を適用することで、4ビット量子化時でさえ、精度損失を1%未満に抑えることができ、低データ環境下でも高い頑健性を示す。
• 量子化における情報損失が常に精度損失に直結するわけではないことが示され、特に1〜3ビットでは再訓練が不可欠であることが明らかになった。