[論文レビュー] Knowledge distillation for optimization of quantized deep neural networks

Sungho Shin, Yoonho Boo+1 more|arXiv (Cornell University)|Sep 4, 2019

Advanced Neural Network Applications参考文献 40被引用数 4

ひとこと要約

本稿では、量子化深層ニューラルネットワーク（QDNN）を最適化するため、段階的ソフト損失低減（GSLR）技術を用いた知識蒸留（KD）を提案する。ソフトラベル分布—温度と教師モデルのサイズによって制御される—が教師モデルの性能よりも重要であることが示された。CIFAR-10およびCIFAR-100における2ビットResNet20の最先端性能を達成し、温度調整されたソフトラベルと、ソフト損失を時間とともに減少させる堅牢なトレーニングスケジュールを活用することで、先行手法を上回った。

ABSTRACT

Knowledge distillation (KD) is a very popular method for model size reduction. Recently, the technique is exploited for quantized deep neural networks (QDNNs) training as a way to restore the performance sacrificed by word-length reduction. KD, however, employs additional hyper-parameters, such as temperature, coefficient, and the size of teacher network for QDNN training. We analyze the effect of these hyper-parameters for QDNN optimization with KD. We find that these hyper-parameters are inter-related, and also introduce a simple and effective technique that reduces extit{coefficient} during training. With KD employing the proposed hyper-parameters, we achieve the test accuracy of 92.7% and 67.0% on Resnet20 with 2-bit ternary weights for CIFAR-10 and CIFAR-100 data sets, respectively.

研究の動機と目的

• 教師ネットワークの選択とKDハイパーパrameterが量子化DNN性能に与える影響を調査すること。
• 低ビットネットワークにおける知識蒸留で、フル精度モデルと量子化モデルのどちらがより優れた結果をもたらすかを特定すること。
• KDにおけるハイパーパrameterチューニングへの依存を低減する堅牢なトレーニング戦略を開発すること。
• 制御されたソフトラベル分布を活用して、CIFAR-10およびCIFAR-100における2ビット量子化ネットワークの精度を向上させること。

提案手法

• 学生ネットワークが教師ネットワークからのソフトラベルを用いてトレーニングされる知識蒸留を用いる。損失関数はハードラベルとソフトラベルの両方の交差エントロピーを組み合わせる。
• ソフトマックス関数における温度スケーリング（τ）を用い、教師の出力分布のソフトさを制御する。
• 段階的ソフト損失低減（GSLR）技術を導入。初期段階ではハード損失とソフト損失に等しい重みを設定し、トレーニング中に徐々にソフト損失の重みを減少させる。
• フル精度、量子化、知識蒸留を適用した教師アシスタントアーキテクチャを含む、さまざまな教師モデルを評価する。
• 温度、教師サイズ、損失重み（λ）の相互作用を分析し、QDNNに最適な設定を同定する。
• 1ビットまたは2ビットの重み量子化における量子化ステップサイズ（Δ）を、L2誤差最小化または標準偏差を用いて計算する。

実験結果

リサーチクエスチョン

• RQ1 KDにおけるQDNNの性能は、教師ネットワークの性能よりも、そのソフトラベル分布の形状（温度とモデルサイズによって制御）の方が重要であるか？
• RQ2 温度と教師モデルサイズが低精度ネットワークにおける蒸留性能にどのように影響するか？
• RQ3 ソフトラベル分布が適切に制御されていれば、小さな教師モデルが大きなモデルを上回る性能を発揮できるか？
• RQ4 GSLRのような動的損失スケジューリング戦略は、ハイパーパrameterへの感受性を低減し、トレーニングの堅牢性を向上させるか？
• RQ5 2ビット量子化モデルのトレーニングにおいて、ハード損失とソフト損失の最適なバランスは何か？

主な発見

• 教師のソフトラベル分布の形状—温度とモデルサイズによって制御される—が、効果的な蒸留において、教師自身の精度よりも重要である。
• 温度が適切に調整されていれば、小さな教師ネットワーク（例：ResNet20）でも、大きなモデル（例：WRN20x2）と同等の性能を達成できる。
• CIFAR-10では、τ=4およびWRN20x1.7教師で最適性能（94.8%）が達成された。CIFAR-100では、τ=1およびResNet20が最良の結果（76.8%）をもたらした。
• 温度が高すぎると（例：CIFAR-100でτ>5）、ソフトラベルが過度に平坦化され、知識伝達が低下し、精度が65.49%未満に低下する。
• GSLR技術はトレーニングの安定性と性能を顕著に向上させ、すべての教師設定において、ハードラベルのみのトレーニングと同等またはそれ以上の結果をもたらした。
• GSLRと適切なハイパーパrameterチューニングを組み合わせることで、本稿はCIFAR-10で94.8%、CIFAR-100で76.8%の2ビットResNet20の最先端精度を達成し、先行手法を上回った。