[論文レビュー] Quantization of Deep Neural Networks for Accurate Edge Computing

Wentao Chen, Hailong Qiu+8 more|arXiv (Cornell University)|Apr 25, 2021

Advanced Neural Network Applications参考文献 37被引用数 4

ひとこと要約

本稿では、エッジデバイスにおける深層ニューラルネットワークの精度向上を目的とした正則化手法として、段階的量子化を提案する。バイオメディカル画像セグメンテーション、画像分類、音声認識の分野で最大4.23%の精度向上を達成するとともに、メモリ使用量を3.5倍～6.4倍まで削減した。この手法は、重みの段階的量子化を活用して大規模モデルにおける過学習を軽減し、従来の「量子化は性能を低下させる」という常識に挑戦する。

ABSTRACT

Deep neural networks (DNNs) have demonstrated their great potential in recent years, exceeding the per-formance of human experts in a wide range of applications. Due to their large sizes, however, compressiontechniques such as weight quantization and pruning are usually applied before they can be accommodated onthe edge. It is generally believed that quantization leads to performance degradation, and plenty of existingworks have explored quantization strategies aiming at minimum accuracy loss. In this paper, we argue thatquantization, which essentially imposes regularization on weight representations, can sometimes help toimprove accuracy. We conduct comprehensive experiments on three widely used applications: fully con-nected network (FCN) for biomedical image segmentation, convolutional neural network (CNN) for imageclassification on ImageNet, and recurrent neural network (RNN) for automatic speech recognition, and experi-mental results show that quantization can improve the accuracy by 1%, 1.95%, 4.23% on the three applicationsrespectively with 3.5x-6.4x memory reduction.

研究の動機と目的

• 量子化が従来、精度の低下要因と見なされてきたが、正則化の観点から性能向上をもたらす可能性があるかどうかを調査すること。
• バイオメディカル画像セグメンテーション、ImageNet分類、自動音声認識の3つの実世界応用分野における段階的量子化の影響を評価すること。
• 量子化が大規模モデルにおける過学習を軽減し、一般化性能と精度を向上させることを示すこと。
• 量子化によるメモリ圧縮が精度の損失を伴うとは限らず、場合によっては精度を向上させることを実証的根拠で示すこと。
• メモリ制約下で精度を最大化する最適な量子化ビット幅と並列モデル構成を同定すること。

提案手法

• 著者らは、ネットワーク重みのビット幅をフル精度から低ビット表現（例：8ビット、6ビット、4ビット）へ段階的に減少させる方法で、段階的量子化を適用する。
• 公平な比較を保つために、同一のハードウェアおよびフレームワーク環境下で最先端の量子化手法を再実装・評価する。
• 初期段階から量子化された重みを用いた学習を実施し、動的固定小数点表現や重みスケーリングなどの技術を活用して表現能力を維持する。
• 各応用分野において、さまざまなビット幅と並列構成（例：2つの並列モデル）をテストし、メモリ、計算量、精度の最適なトレードオフを同定する。
• 大規模モデルと小規模モデルの性能を比較することで、量子化が過学習に与える影響を分析し、大規模モデルでは過学習が軽減され、小規模モデルでは悪化することを観察する。
• 量子化を正則化の一種とみなすアプローチを採用し、過パrameter化されたネットワークにおける一般化性能向上に寄与する重み制約の本質を活用する。

実験結果

リサーチクエスチョン

• RQ1 過パrameter化されたモデルにおいて、量子化が精度を低下させるのではなく向上させる可能性があるか？
• RQ2 多様なDNN応用分野において、メモリ使用量を最小限に抑えつつ精度を最大化する最適なビット幅は何か？
• RQ3 段階的量子化は、大規模ネットワークと小規模ネットワークの両方において過学習にどのように影響を与えるか？
• RQ4 量子化された重みを用いた並列モデル構成は、単一モデルの量子化を上回る性能向上を達成できるか？
• RQ5 量子化に起因する正則化は、異なるDNNアーキテクチャやタスクにおいて一貫した精度向上をもたらすか？

主な発見

• バイオメディカル画像セグメンテーションのMICCIA Glandデータセットにおいて、段階的量子化は1%の精度向上を達成し、既存の最先端手法を上回った。
• VGG-16を用いたImageNet-2012では、8ビット固定小数点量子化により、フル精度モデル比で1.95%の精度向上を達成した。
• TIMITデータセットにおける自動音声認識では、Deep Speechモデルを用いて量子化により4.23%の精度向上を達成した。
• 3つの応用分野すべてで、メモリ使用量が3.5倍～6.4倍まで削減され、顕著な圧縮効率が確認された。
• 最適なパフォーマンスは、中央値に近いビット幅（例：6～7ビット）で達成されたが、最低または最高のビット幅では得られず、正則化と表現能力のトレードオフが示された。
• この手法は大規模モデルでは過学習を軽減したが、小規模モデルでは性能を低下させた。これにより、正則化機構としての役割が裏付けられた。