[論文レビュー] Ternary Weight Networks

Fengfu Li, Bin Liu+3 more|arXiv (Cornell University)|May 16, 2016

Advanced Neural Network Applications参考文献 21被引用数 758

ひとこと要約

本論文は、スケーリング因子を用いてフル精度重量を近似する、+1, 0, -1 の3値重みネットワーク（TWNs）を導入し、視覚タスクでの大幅なモデル圧縮と競争力のある精度を達成するとともに、バイナリネットより検出性能を改善する。

ABSTRACT

We present a memory and computation efficient ternary weight networks (TWNs) - with weights constrained to +1, 0 and -1. The Euclidian distance between full (float or double) precision weights and the ternary weights along with a scaling factor is minimized in training stage. Besides, a threshold-based ternary function is optimized to get an approximated solution which can be fast and easily computed. TWNs have shown better expressive abilities than binary precision counterparts. Meanwhile, TWNs achieve up to 16$ imes$ model compression rate and need fewer multiplications compared with the float32 precision counterparts. Extensive experiments on MNIST, CIFAR-10, and ImageNet datasets show that the TWNs achieve much better result than the Binary-Weight-Networks (BWNs) and the classification performance on MNIST and CIFAR-10 is very close to the full precision networks. We also verify our method on object detection task and show that TWNs significantly outperforms BWN by more than 10\% mAP on PASCAL VOC dataset. The pytorch version of source code is available at: https://github.com/Thinklab-SJTU/twns.

研究の動機と目的

• エッジデバイス向けに深層ニューラルネットワークのストレージと計算量を削減する動機付け。
• フル精度の重みを近似するためのスケーリング因子を備えた3値重み量子化を提案。
• 閾値ベースの3値関数を開発し、効率的に3値重みを得る。
• 最小限の乗算で3値重みを活用する訓練・推論手順を提供。
• 分類と検出タスク全般で、TWNsをフル精度およびバイナリ重量ネットワークと比較した実証結果を示す。

提案手法

• 目的を、フル精度の重みとスケーリングされた3値重みのユークリッド距離を最小化することとして定式化し、||W - αW~||2 を最小化する。W~ ∈ {-1,0,1}。
• W~i = f(Wi|Δ) による閾値ベースの3値関数を導入し、重みを {-1,0,1} に写像する。
• 簡略化された最適化を解くために α* および Δ* を導出し、Δ* は W の統計に基づく経験則を用いて近似する（Δ* ≈ 0.75 E|W|）。
• 更新には重みのフル精度コピーを保持しつつ、順伝播/逆伝播で3値化を適用してネットワークを訓練する。
• モーメンタム付き SGD、バッチ正規化、および学習率のステップ減衰を使用し、層をまたいで W と α を更新する手順に従う。
• 推論はスケーリング因子 α を3値重みに適用して行い、格納容量を減らしたままデプロイ可能。

実験結果

リサーチクエスチョン

• RQ1 3値重量（+1, 0, -1）とスケーリング因子を用いて、メモリと計算を削減しつつフル精度重量を効果的に近似できるか？
• RQ2 精度と圧縮のバランスを取るために閾値 Δ を最適に選択するにはどうするべきか？
• RQ3 TWNs は分類と検出タスクで、フル精度ネットワークやバイナリ重量ネットワークと比較して競争力があるか？
• RQ4 標準的な視覚ベンチマークにおける FPWNs と BPWNs に対するモデルサイズと計算量への影響はどの程度か？
• RQ5 提案された訓練戦略（前向き/後向きの3値化とフル精度重量更新）は、アーキテクチャ全体で実用的かつ安定か？

主な発見

• TWNs はバイナリ nets とほぼ同等の畳み込み演算を維持しつつ最大 16x のモデル圧縮を達成。
• MNIST と CIFAR-10 では TWNs が FPWNs に近い精度を示し、BPWNs を上回る。
• ImageNet では TWNs が FPWNs とのギャップの多くを埋め、特に大きなバックボーンで精度低下を小さく抑える。
• 物体検出（PASCAL VOC with YOLOv5）では TWNs が BPWNs を 10% 以上の mAP で上回り、FPWNs に近づく。
• TWNs は FPWNs と同等の収束速度と安定性を示し、BPWNs より訓練の安定性で優れる。