[論文レビュー] Gradient 𝓁 1 Regularization for Quantization Robustness.

Milad Alizadeh, Arash Behboodi+4 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications被引用数 3

ひとこと要約

本稿では、複数のビット幅にわたるトレーニング後量子化に対するニューラルネットワークのロバスト性を向上させる勾配ベースの ℓ₁ 正則化スキームを提案する。量子化を ℓ∞-有界な摂動としてモデル化することで、トレーニング中に勾配の ℓ₁-ノルムを正則化し、再トレーニングやトレーニングデータへのアクセスなしに、1つのモデルをさまざまな精度レベルにオンデマンドで量子化可能にする。

ABSTRACT

We analyze the effect of quantizing weights and activations of neural networks their loss and derive a simple regularization scheme that improves robustness against post-training quantization. By training quantization-ready networks, our approach enables storing a single set of weights that can be quantized on-demand to different bit-widths as energy and memory requirements of the application change. Unlike quantization-aware training using the straight-through estimator that only targets a specific bit-width and requires access to training data and pipeline, our regularization-based method paves the way for on the fly'' post-training quantization to various bit-widths. We show that by modeling quantization as a $\ell_\infty$-bounded perturbation, the first-order term in the loss expansion can be regularized using the $\ell_1$-norm of gradients. We experimentally validate the effectiveness of our regularization scheme different architectures CIFAR-10 and ImageNet datasets.

研究の動機と目的

• 異なるビット幅へのトレーニング後量子化の後もモデルの精度を維持する課題に対処すること。
• 各ターゲットビット幅ごとに再トレーニングとトレーニングデータへのアクセスを必要とする量子化に気づいたトレーニングの制限を克服すること。
• オンデマンドでのさまざまな精度レベルへの量子化を可能にするトレーニング時の正則化手法を開発すること。
• 推論パイプラインの変更やビット幅ごとの再トレーニングを必要とせずに、量子化に対するモデルのロバスト性を向上させること。

提案手法

• トレーニング後量子化をネットワークの重みと活性化に対する ℓ∞-有界な摂動としてモデル化する。
• 量子化摂動の下での損失関数の一次テイラー展開を導出する。
• 損失展開における勾配項が量子化誤差の主な要因であることを同定する。
• 入力および重みに関する勾配の ℓ₁-ノルムを正則化することで、量子化に対する感度を低減する。
• 標準的なバックプロパゲーションを用いて、標準的なトレーニング中に正則化を適用する。
• 再チューニングなしに、複数のビット幅へのオンデマンド量子化をサポートする1つのモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークを、複数のトレーニング後量子化ビット幅にわたってロバストに保てるようにトレーニングできるか？
• RQ2 量子化を ℓ∞-有界な摂動としてモデル化することで、量子化ロバスト性のための正則化設計にどのようなインサイトが得られるか？
• RQ3 標準トレーニングと比較して、勾配の ℓ₁ 正則化が異なる量子化レベルへの一般化を改善するか？
• RQ4 提案手法は、トレーニングデータへのアクセスや再トレーニングを必要とせずに、複数のビット幅で競争力のある精度を達成できるか？

主な発見

• 提案された ℓ₁ 勾配正則化は、複数のビット幅にわたるトレーニング後量子化後のテスト精度を顕著に向上させる。
• 本手法でトレーニングされたモデルは、再トレーニングなしに 4ビット、6ビット、8ビットの精度に量子化されても高い精度を維持する。
• オンデマンドでの異なるビット幅への量子化を要件とする状況において、標準トレーニングおよび量子化に気づいたトレーニングを上回る性能を示す。
• 理論的および実験的分析により、正則化が ℓ∞-有界な量子化摂動に対する損失の感度を効果的に低減していることが示された。