[論文レビュー] $S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of Low-bit Shift Networks

Xinlin Li, Bang Liu+4 more|arXiv (Cornell University)|Jul 7, 2021

Brain Tumor Detection and Classification被引用数 4

ひとこと要約

本稿では、符号、スパarsity、シフトの3要素に低ビット離散重みを分解することで、勾配消失およびシフトネットワークにおける重み符号凍結を軽減する、S³（Sign-Sparse-Shift）再パラメータ化という新規手法を提案する。3次元拡張パラメータ空間での最適化により、S³は3ビットシフトネットワークがImageNetで完全精度モデルと同等のトップ1精度を達成することを可能にし、事前学習重みへの依存を排除するとともに、学習安定性と性能を向上させる。

ABSTRACT

Shift neural networks reduce computation complexity by removing expensive multiplication operations and quantizing continuous weights into low-bit discrete values, which are fast and energy efficient compared to conventional neural networks. However, existing shift networks are sensitive to the weight initialization, and also yield a degraded performance caused by vanishing gradient and weight sign freezing problem. To address these issues, we propose S low-bit re-parameterization, a novel technique for training low-bit shift networks. Our method decomposes a discrete parameter in a sign-sparse-shift 3-fold manner. In this way, it efficiently learns a low-bit network with a weight dynamics similar to full-precision networks and insensitive to weight initialization. Our proposed training method pushes the boundaries of shift neural networks and shows 3-bit shift networks out-performs their full-precision counterparts in terms of top-1 accuracy on ImageNet.

研究の動機と目的

• バックプロパゲーション中に勾配消失および重み符号凍結に苦しむ低ビットシフトネットワークの性能劣化と学習不安定性を是正すること。
• 現在、競争力のある結果を得るためには完全精度重みの事前学習が必要であるが、シフトネットワークの重み初期化への感受性を克服すること。
• 完全精度の事前学習に依存せずに、ランダム初期化から効果的な低ビットシフトネットワークの学習を可能にする再パラメータ化技術を開発すること。
• ImageNetなどの大規模ベンチマークで、3ビットシフトネットワークと完全精度モデルとの間で性能が同等になるようにすること。
• ハイパーパramータ（学習率の減衰や正則化強度など）の選択に敏感でない、理論的根拠に基づいた安定した学習戦略を提供すること。

提案手法

• 離散重みを符号、スパarsity（スパarsityパラメータ）、シフト（ビット位置）の3要素に分解するS³再パラメータ化を導入し、拡張された3次元パラメータ空間を形成する。
• 訓練中に離散重みのℓ₀ノルムを最大化する密度重み正則化子を用い、非ゼロ活性化を促進し、重み符号凍結を防止する。
• 非微分可能な量子化器を通じた勾配を近似するためにストレートスラッシュ推定（STE）を適用するが、S³分解によりより直交的な最適化ダイナミクスを実現する。
• スパarsityパラメータを訓練中に正則化することで、完全精度ネットワークと同等の有効な重みダイナミクスを維持し、収束性と安定性を向上させる。
• 符号、スパarsity、シフトの役割を最適化プロセスで分離し、各成分の独立的かつより効果的な学習を可能にする。
• 密度重み正則化子のハイパーパramータαに対して線形またはコサイン減衰スケジューラを適用するが、結果からその選択に強く依存しないことが示され、主に初期学習段階で利益が得られる。

実験結果

リサーチクエスチョン

• RQ1 事前学習重みに依存せずに、低ビットシフトネットワークが完全精度モデルと同等の性能を達成できるか？
• RQ2 符号-スパarsity-シフト再パラメータ化戦略は、低ビット学習における勾配消失および重み符号凍結を効果的に緩和できるか？
• RQ3 密度重み正則化子強度や学習率減衰スケジューラなどのハイパーパramータに、提案手法がどれほど感受性を示すか？
• RQ4 S³再パラメータ化を用いて訓練された3ビットシフトネットワークは、ImageNetにおける完全精度ResNet-18およびResNet-50のトップ1精度に達するか、あるいはそれを上回れるか？
• RQ5 S³手法は、バイナリパラメータの頻繁な符号変化が生じる状況でも、低ビットシフトネットワークの安定的かつ収束性のある学習を可能にするか？

主な発見

• S³再パラメータ化により、3ビットシフトネットワークがResNet-18を用いてImageNetでトップ1精度69.83%を達成し、完全精度モデルと同等の性能を実現した。
• 200エポックの訓練を経て、3ビットS³ネットワークはResNet-50を用いてImageNetでトップ1精度75.75%を達成し、完全精度モデルとの精度差を埋めた。
• ハイパーパラメータの選択に強く依存しない：αの値（1e-2から1e-6）や減衰スケジューラ（線形およびコサイン）の変更に対しても性能が安定している。
• 密度重み正則化子が存在しない場合、学習は収束せず、正則化子が重み符号凍結を防止し、安定した最適化を可能にする上で不可欠であることが示された。
• 従来手法における事前学習重みの性能向上の主な要因は、良好な初期符号推定にあるが、S³はその再パラメータ化設計により、これを本質的に達成する。
• 完全精度の事前学習への依存が軽減され、高い精度と頑健性を維持しながら、ランダム初期化から効果的な学習が可能になった。