[論文レビュー] Up or Down? Adaptive Rounding for Post-Training Quantization

Markus Nagel, Rana Ali Amjad+3 more|arXiv (Cornell University)|Apr 22, 2020

Advanced Neural Network Applications参考文献 37被引用数 55

ひとこと要約

AdaRoundはポストトレーニング量子化のためのデータ適応的な重み丸め法で、ファインチューニングなしに最も近い丸めを上回る。層ごとのQUBO定式化と連続緩和、および少量のラベルなしデータを用いる。いくつかのネットワークとタスクで新たな最先端性能を達成する。

ABSTRACT

When quantizing neural networks, assigning each floating-point weight to its nearest fixed-point value is the predominant approach. We find that, perhaps surprisingly, this is not the best we can do. In this paper, we propose AdaRound, a better weight-rounding mechanism for post-training quantization that adapts to the data and the task loss. AdaRound is fast, does not require fine-tuning of the network, and only uses a small amount of unlabelled data. We start by theoretically analyzing the rounding problem for a pre-trained neural network. By approximating the task loss with a Taylor series expansion, the rounding task is posed as a quadratic unconstrained binary optimization problem. We simplify this to a layer-wise local loss and propose to optimize this loss with a soft relaxation. AdaRound not only outperforms rounding-to-nearest by a significant margin but also establishes a new state-of-the-art for post-training quantization on several networks and tasks. Without fine-tuning, we can quantize the weights of Resnet18 and Resnet50 to 4 bits while staying within an accuracy loss of 1%.

研究の動機と目的

• ニューラルネットワークにおけるポストトレーニング量子化で「最近傍丸め」が最適でない可能性を動機づけ、分析する。
• データとタスク損失に適応し、ファインチューニングなしで理論的に基づき実用的な層ごとの丸め法（AdaRound）を開発する。
• 複数のネットワークとタスクに対してAdaRoundの有効性を示し、4ビットの重みで高精度を達成する。
• AdaRoundが既存のポストトレーニング量子化法を上回り、少量のラベルなしデータのみを要することを示す。

提案手法

• タスク損失の2次のテイラー展開に由来する層ごとの二次無拘束バイナリ最適化（QUBO）問題として重み丸めを定式化する。
• 層ごとの最適化を可能にし複雑さを低減するためにヘシアンの対角近似を導入する。
• 連続緩和と微分可能な正則化項を用いたソフト量子化変数でNP困難なQUBOを緩和し、ビナリゼーションを促進する。
• 非対称再構成損失と活性化を考慮した定式化を用い、ポスト量子化効果をより正確に捉える。
• データ効率の高い最適化（小規模なラベルなしデータセット）とHopfield風の連続緩和で解けるAdaRound目的関数を用いて層ごとに最適化する。

実験結果

リサーチクエスチョン

• RQ1 ポストトレーニング量子化における重み丸めを、データとタスク損失の相互作用を考慮した層ごとの最適化問題として定式化できるか。
• RQ2 連続緩和と層ごとの最適化を用いるAdaRoundは、複数のアーキテクチャとビット幅において従来の最近傍丸めを上回るか。
• RQ3 ヘシアン近似、局所的MSE損失、非対称再構成、活性化意識の異なる設計選択がポストトレーニング量子化性能に与える影響は何か。
• RQ4 競争力のある精度を達成するためにAdaRoundにはどれくらいのラベルなしデータが必要か、データドメインは性能に影響を与えるか。

主な発見

丸め	最初の層の精度（%）	全層の精度（%）
Nearest	52.29	23.99
H^w task loss (cf. (13))	68.62 ± 0.17	N/A
Local MSE loss (cf. (20))	69.39 ± 0.04	65.83 ± 0.14
Cont. relaxation (cf (21))	69.58 ± 0.03	66.56 ± 0.12

• AdaRoundは、いくつかのネットワークとタスクにおいてポストトレーニング量子化で最近傍丸めを大幅に上回る。
• 対角ヘシアン近似と局所的MSE目的関数の使用は競争力のある性能をもたらし、層ごとの最適化を実現可能にする。
• Hopfield風の最適化と明示的正則化項を伴う連続緩和は高い性能を発揮し、しばしばSTEベースの手法を上回る。
• 非対称再構成と活性化意識の損失設計は、基礎のAdaRound目的より追加の利得をもたらす。
• AdaRoundはネットワークを4ビット重みに量子化でき、精度損失はほとんどない（場合により約1%以内）、少量のラベルなしデータ（最大256枚程度）だけでFP32性能に近づく。