[論文レビュー] Divide and Conquer: Leveraging Intermediate Feature Representations for Quantized Training of Neural Networks

Ahmed T. Elthakeb, Prannoy Pilligundla+2 more|arXiv (Cornell University)|Jun 14, 2019

Advanced Neural Network Applications参考文献 28被引用数 6

ひとこと要約

本稿では、DCQ（Divide and Conquer Quantization）と呼ばれる、新しい知識蒸留フレームワークを提案する。この手法は、フルプレシジョンの教師ネットワークを複数のセクションに分割し、各セクションについて教師の途中特徴表現を用いて独立に訓練された量子化済み学生ネットワークを学習し、それらを統合して完全に量子化されたモデルを構築する。DCQは、バイナリ量子化においてSOTAを21.6%、トリナリ量子化において9.3%向上させ、精度損失を顕著に低減するとともに、効率的な推論を可能にする。

ABSTRACT

The deep layers of modern neural networks extract a rather rich set of features as an input propagates through the network. This paper sets out to harvest these rich intermediate representations for quantization with minimal accuracy loss while significantly reducing the memory footprint and compute intensity of the DNN. This paper utilizes knowledge distillation through teacher-student paradigm (Hinton et al., 2015) in a novel setting that exploits the feature extraction capability of DNNs for higher-accuracy quantization. As such, our algorithm logically divides a pretrained full-precision DNN to multiple sections, each of which exposes intermediate features to train a team of students independently in the quantized domain. This divide and conquer strategy, in fact, makes the training of each student section possible in isolation while all these independently trained sections are later stitched together to form the equivalent fully quantized network. Our algorithm is a sectional approach towards knowledge distillation and is not treating the intermediate representation as a hint for pretraining before one knowledge distillation pass over the entire network (Romero et al., 2015). Experiments on various DNNs (AlexNet, LeNet, MobileNet, ResNet-18, ResNet-20, SVHN and VGG-11) show that, this approach -- called DCQ (Divide and Conquer Quantization) -- on average, improves the performance of a state-of-the-art quantized training technique, DoReFa-Net (Zhou et al., 2016) by 21.6% and 9.3% for binary and ternary quantization, respectively. Additionally, we show that incorporating DCQ to existing quantized training methods leads to improved accuracies as compared to previously reported by multiple state-of-the-art quantized training methods.

研究の動機と目的

• 量子化ニューラルネットワークにおける精度の低下を軽減するとともに、メモリおよび計算コストを最小限に抑えること。
• 深層ネットワークが学習する豊富な階層的特徴表現を活用して、より優れた量子化を実現すること。
• 中間活性化を用いて、各ネットワークセクションを独立に訓練するセクション別知識蒸留手法を開発すること。
• 元のネットワークアーキテクチャを変更せずに、フルプレシジョンモデルと量子化モデルの間の精度ギャップを埋めること。
• モジュラーな訓練により教師のアーキテクチャを保持しながら、効率的かつ低ビット幅の推論を可能にすること。

提案手法

• 事前に学習済みのフルプレシジョンDNNを複数のセクションに分割し、それぞれがネットワークの一部に対応する。
• 各セクションについて、対応する教師セクションの途中特徴マップを監視情報として用いて、量子化済み学生ネットワークを独立に訓練する。
• セクション別マルチバックプロパゲーション方式を用い、標準的勾配降下法で教師と学生の特徴表現の損失を最適化する。
• 損失は、各セクションにおける教師の途中活性化と量子化学生の間の回帰損失として計算される。
• 独立した訓練後、学生セクションを統合して完全に量子化されたDNNを構築する。
• 本手法は中間特徴を事前学習のヒントとして用いず、学生ネットワーク全体に対して最終的な蒸留プロセスを適用しない。

実験結果

リサーチクエスチョン

• RQ1 フルプレシジョンネットワークの途中特徴表現を用いて、最小限の精度損失で量子化学生ネットワークを訓練できるか？
• RQ2 各セクションを独立に訓練するセクション別知識蒸留アプローチは、エンドツーエンド蒸留と比較して、量子化精度を向上させるか？
• RQ3 本手法は、バイナリおよびトリナリ設定において、DoReFa-Netのような最先端の量子化学習技術を上回るか？
• RQ4 本手法を既存の量子化手法の後処理ステップとして統合した場合、どの程度精度向上が達成できるか？
• RQ5 深層ネットワークの階層的特徴学習能力が、この分割統治型蒸留戦略によって効果的に活用されるか？

主な発見

• DCQは、複数のネットワークにわたる平均で、DoReFa-Netのバイナリ量子化において21.6%、トリナリ量子化において9.3%の性能向上を達成した。
• AlexNet、LeNet、MobileNet、ResNet-18、ResNet-20、SVHN、VGG-11などのベンチマークにおいて、複数のSOTA量子化学習技術を上回る高い精度を達成した。
• DCQは、途中特徴表現を効果的に活用することで、フルプレシジョンモデルと量子化モデルの間の精度ギャップを縮小した。
• セクション別訓練戦略により、各ネットワークセグメントの独立した最適化が可能となり、学習の安定性と収束性が向上した。
• 既存の量子化パイプラインにDCQを統合することで、以前に報告された結果よりも顕著な精度向上が得られた。
• 本手法は、モジュラーな蒸留により元の教師ネットワークアーキテクチャを保持しながら、高精度な量子化を実現した。