[論文レビュー] RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks

Lukas Cavigelli, Luca Benini|arXiv (Cornell University)|Jan 4, 2020

Advanced Neural Network Applications参考文献 31被引用数 8

ひとこと要約

RPR（ランダムパーティションリラクゼーション）は、SGDベースの最適化中に量子化された重みのランダムなパーティションを交互に連続値に緩和することで、バイナリおよびトレナリ重みニューラルネットワークのための新しいトレーニング手法であり、GoogLeNetでは最先端の精度を達成し、ResNet-18およびResNet-50でも競争力のある結果を示しており、標準的なディープラーニングフレームワークと互換性がある。

ABSTRACT

We present Random Partition Relaxation (RPR), a method for strong quantization of neural networks weight to binary (+1/-1) and ternary (+1/0/-1) values. Starting from a pre-trained model, we quantize the weights and then relax random partitions of them to their continuous values for retraining before re-quantizing them and switching to another weight partition for further adaptation. We demonstrate binary and ternary-weight networks with accuracies beyond the state-of-the-art for GoogLeNet and competitive performance for ResNet-18 and ResNet-50 using an SGD-based training method that can easily be integrated into existing frameworks.

研究の動機と目的

• 低消費電力のIoTおよびモバイルデバイスへのディープラーニングネットワークのデプロイを促進するため、強力な重み量子化によるモデルサイズおよび計算コストの削減に取り組む。
• 量子化および再トレーニング後に通常観察されるバイナリおよびトレナリ重みネットワーク（BWNs/TWNs）の精度の低下を克服する。
• ADMMのような複雑な代替手法とは異なり、標準的なSGD最適化を用いることで、標準的なディープラーニングフレームワークとの互換性を維持するトレーニング手法を開発する。
• アーキテクチャの変更や専用のハードウェアに最適化された量子化レベルを必要とせずに、バイナリおよびトレナリ重みネットワークにおける最先端の精度を達成する。

提案手法

• RPRは、量子化ネットワークのトレーニングを混合整数非線形計画問題として定式化し、トレーニング中に小規模でランダムに選択された重みパーティションを量子化値から連続値に緩和する交互最適化を用いる。
• この手法は、すべての重みを量子化するのと、ランダムに選択されたサブセットを連続値に緩和するのを交互に繰り返し、緩和された重みに対して勾配更新を実行しながら、残りの重みは量子化されたままに保つ。
• 緩和されたパーティションについて再トレーニングが終了すると、重みは再量子化され、新しいランダムなパーティションを用いてプロセスを繰り返す。これにより、ネットワークの段階的で洗練された改善が可能になる。
• このアプローチは標準的なSGDベースのトレーニングパイプラインと完全に互換性があり、PyTorchのような既存のディープラーニングフレームワークへの容易な統合が可能である。
• この手法はバイナリ（{-1, 1}）およびトレナリ（{-1, 0, 1}）重み量子化をサポートしており、最初および最後の層を量子化から除外するオプションも提供する。

実験結果

リサーチクエスチョン

• RQ1 複雑な最適化やアーキテクチャの変更を要せず、単純でSGDに互換性のあるトレーニング手法が、バイナリおよびトレナリ重みニューラルネットワークで最先端の精度を達成できるか。
• RQ2 ランダムな重みパーティションの交互な緩和が、標準的な量子化手法と比較して、強力に量子化されたネットワークの一般化性能および精度を向上させるか。
• RQ3 RPRはADMM や TTQ といった既存の最先端手法を凌駕できるか。また、ハードウェア効率性とフレームワークの互換性を維持できるか。
• RQ4 GoogLeNet、ResNet-18、ResNet-50 といった異なるネットワークアーキテクチャにおいて、バイナリおよびトレナリ重み制約下でのトップ-1およびトップ-5精度の観点から、RPRの性能はいかがなものか。

主な発見

• トレナリ重みを用いたGoogLeNetでは、RPRがトップ-1精度64.88%、トップ-5精度86.05%を達成し、以前の最先端手法（ADMM）をそれぞれ1.7%および1.76%上回った。
• バイナリ重みを用いたGoogLeNetでは、RPRがトップ-1精度62.01%、トップ-5精度84.83%を達成し、XNOR-Net BWNおよびADMM手法を上回った。
• ResNet-18では、トレナリ重みを用いたRPRがトップ-1精度66.31%、トップ-5精度87.84%を達成し、ADMMと同等の性能を示したが、標準的なSGDを用いた。
• ResNet-18におけるバイナリ重みでは、RPRがトップ-1精度64.62%、トップ-5精度86.01%を達成し、XNOR-Net BWNおよびINQを上回った。
• ResNet-50では、トレナリ重みを用いたRPRがトップ-1精度71.83%、トップ-5精度90.28%を達成し、ADMMの性能に非常に近いが、複雑な最適化を回避した。
• この手法は標準的なディープラーニングフレームワークと互換性を保ち、ADMMのような先行手法のコードやモデルリリースを必要とせず、より広範な再現性と統合性を実現した。