[論文レビュー] Overwrite Quantization: Opportunistic Outlier Handling for Neural Network Accelerators.

Ritchie Zhao, Christopher De+1 more|arXiv (Cornell University)|Oct 13, 2019

Model Reduction and Neural Networks参考文献 11被引用数 4

ひとこと要約

Overwrite Quantization (OverQ) は、隣接する値を上書きすることで、オーバーサイズの重みや活性化に対して機会的にビット幅を拡張するハードウェア技術であり、最小限の面積オーバーヘッドで DNN エンジンにおける正確な 4 ビット推論を可能にする。FPGA プロトタイプは、わずかなリソースコストで ResNet-18 に対して顕著な精度向上を示した。

ABSTRACT

Outliers in weights and activations pose a key challenge for fixed-point quantization of neural networks. While outliers can be addressed by fine-tuning, this is not practical for machine learning (ML) service providers (e.g., Google, Microsoft) who often receive customers' models without the training data. Specialized hardware for handling outliers can enable low-precision DNNs, but incurs nontrivial area overhead. In this paper, we propose overwrite quantization (OverQ), a novel hardware technique which opportunistically increases bitwidth for outliers by letting them overwrite adjacent values. An FPGA prototype shows OverQ can significantly improve ResNet-18 accuracy at 4 bits while incurring relatively little increase in resource utilization.

研究の動機と目的

• 低精度フォーマットを用いた固定小数点量子化におけるオーバーサイズの課題に対処すること。これは、モデル精度を低下させる要因となる。
• トレーニングデータにアクセスできない機械学習サービスプロバイダーの環境において、実用的な低精度推論を可能にすること。
• ニューラルネットワークアクセラレータにおけるオーバーサイズ処理をサポートしながら、ハードウェア面積オーバーヘッドを最小限に抑えること。
• 既存の DNN アクセラレータパイプラインにスムーズに統合できるスケーラブルで効率的なハードウェアソリューションを設計すること。

提案手法

• Overwrite Quantization は、重みまたは活性化のメモリレイアウトにおける隣接する値を上書きすることで、オーバーサイズ値のビット幅を動的に拡張する。
• この技術は量子化段階でオーバーサイズを特定し、そのデータをビット幅が拡張された隣接領域に再割り当てすることで、データ整合性を保つ。
• ハードウェアに配慮した量子化方式により、再トレーニングを必要とせず、推論段階でオーバーサイズ検出とビット幅調整を統合する。
• 面積オーバーヘッドを最小限に抑えるために、ビット幅切り替えとメモリマッピングを管理するコンact制御論理を採用する。
• FPGA プロトタイプにより、OverQ を DNN アクセラレータに実装し、ResNet-18 における有効性と効率性を検証した。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングやトレーニングデータへのアクセスがなくても、低精度 DNN 推論におけるオーバーサイズ処理を実現できるか？
• RQ2 ニューラルネットワークアクセラレータにおいて、オーバーサイズ対応のハードウェアサポートを最小限の面積オーバーヘッドで実装する方法は何か？
• RQ3 標準的な量子化と比較して、OverQ は 4 ビット精度においてどの程度モデル精度を向上させるか？
• RQ4 オーバーラップメカニズムは、リアルタイム推論ワークロードにおいて高いスループットと低遅延を維持できるか？

主な発見

• OverQ は 4 ビット量子化における ResNet-18 の精度を顕著に向上させ、標準的な量子化手法を上回った。
• FPGA プロトタイプの結果、オーバーサイズ処理を行ってもリソース使用量の増加はわずかにとどまった。
• 微調整を必要としないため、トレーニングデータへのアクセスが制限された ML サービスプロバイダーにとっても適した推論を可能にした。
• 隣接する値を上書きすることで、最小限のハードウェア複雑性で効果的なオーバーサイズのビット幅拡張が実現された。