[論文レビュー] BitPruning: Learning Bitlengths for Aggressive and Accurate Quantization

Miloš Nikolić, Ghouthi Boukli Hacene+6 more|arXiv (Cornell University)|Feb 8, 2020

Advanced Neural Network Applications参考文献 36被引用数 15

ひとこと要約

BitPruningは、トレーニング中に各層の最適なビット長を同時に学習できる微分可能正則化手法を導入し、最小限の精度損失で極端な量子化を実現する。ImageNetにおいて、AlexNet、ResNet18、MobileNet V2ではそれぞれ平均ビット長4.13、3.76、4.36ビットを達成し、フル精度ベースラインと比較して精度損失が0.5%〜2.0%の範囲に収まる。

ABSTRACT

Neural networks have demonstrably achieved state-of-the art accuracy using low-bitlength integer quantization, yielding both execution time and energy benefits on existing hardware designs that support short bitlengths. However, the question of finding the minimum bitlength for a desired accuracy remains open. We introduce a training method for minimizing inference bitlength at any granularity while maintaining accuracy. Namely, we propose a regularizer that penalizes large bitlength representations throughout the architecture and show how it can be modified to minimize other quantifiable criteria, such as number of operations or memory footprint. We demonstrate that our method learns thrifty representations while maintaining accuracy. With ImageNet, the method produces an average per layer bitlength of 4.13, 3.76 and 4.36 bits on AlexNet, ResNet18 and MobileNet V2 respectively, remaining within 2.0%, 0.5% and 0.5% of the base TOP-1 accuracy.

研究の動機と目的

• 低精度推論におけるモデル精度を維持するための各層ごとの最小ビット長を特定する課題に対処すること。
• 固定または手動で調整されたビット幅に依存するのではなく、層間で異種のビット幅をエンドツーエンドで学習できること。
• ビット長の最小化に加え、メモリフットプリントや計算ワークロードといった定量可能な指標を、柔軟な正則化子を通じて最小化すること。
• ハードウェア最適化データ型と整合するビット幅を学習することで、既存および専用ハードウェアへの効率的なデプロイを可能にすること。
• 各ビット幅選択に対して再トレーニングを必要とせず、エネルギー消費量を削減し推論効率を向上させること。

提案手法

• ネットワーク全体にわたる大きなビット長表現に対するペナルティを課す微分可能正則化子を導入し、各層で最小限かつ正確なビット幅をモデルが学習するよう促進する。
• 正則化子は重み付け可能であり、ビット長の最小化、メモリフットプリント、または計算演算の最小化を優先するように調整可能である。
• 標準的なバックプロパゲーション中に適用され、重みとビット長の両方を共同最適化するエンドツーエンドのトレーニングが可能である。
• ビット長はストレートスルーエスティメーターを介して微分可能であり、離散的選択にもかかわらず勾配の流れを可能にする。
• 任意の粒度に対応可能で、各層、各カーネル、または各テンソルのビット幅割り当てが可能である。
• 正則化子の係数を変更することで、異なるハードウェア制約に適応した最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、精度を維持しつつビット幅を最小化する各層のビット長を学習できるか？
• RQ2 提案された正則化子は、トレーニング後または手動で設計されたビット幅選択と比較して、精度と効率の面でどのように異なるか？
• RQ3 この手法は、メモリフットプリントやFLOPsといった他のハードウェアに配慮した指標の最小化に拡張可能か？
• RQ4 学習されたビット幅を使用する場合、トレーニングコストと推論効率のトレードオフはどのようになるか？
• RQ5 この手法は、異なるネットワークアーキテクチャやデータセットに一般化可能か？

主な発見

• ImageNetでは、BitPruningはAlexNetで平均4.13ビット、ResNet18で3.76ビット、MobileNet V2で4.36ビットを達成し、それぞれフル精度ベースラインと比較して精度損失が2.0%、0.5%、0.5%であった。
• CIFAR-10では、AlexNetとResNet18の平均ビット長がそれぞれ3.92および2.17ビットに達し、ベースラインと比較して精度損失が0.9%以内であった。
• AlexNetとResNet18において、CIFAR-10でメモリフットプリントを10%〜24%、計算ワークロードを4%〜8%削減し、効率性の向上を示した。
• トレーニングコストは高くなったが、180エポック（ベースラインの2倍）かつベースラインの精度に到達するまでの時間が4.6倍〜5.4倍にのぼったが、推論の恩恵から妥当であるとされた。
• この手法はエンドツーエンドの量子化をサポートしており、最初の層と最後の層を含むため、アーキテクチャの変更なしにフルモデルの量子化が可能である。
• 正則化子は再重み付け可能であり、メモリや計算を最適化するように調整可能で、多様なハードウェアターゲットに適応可能である。