[論文レビュー] SWALP : Stochastic Weight Averaging in Low-Precision Training

Guandao Yang, Tianyi Zhang+4 more|arXiv (Cornell University)|Apr 26, 2019

Machine Learning and Algorithms被引用数 23

ひとこと要約

SWALPは、低精度学習のための学習率スケジュールを変更した確率的重み平均化（SWA）を提案し、すべてのモデル重み、勾配、最適化子状態を8ビット固定小数点精度に量子化可能にした。この手法は、VGG-16およびPreResNet-164を用いてCIFAR-10およびCIFAR-100で完全精度SGDと同等の性能を達成し、2次的目標関数では最適解に収束し、強い凸性を持つ設定では低精度SGDよりも小さなノイズボールに収束することが理論的に示された。

ABSTRACT

Low precision operations can provide scalability, memory savings, portability, and energy efficiency. This paper proposes SWALP, an approach to low precision training that averages low-precision SGD iterates with a modified learning rate schedule. SWALP is easy to implement and can match the performance of full-precision SGD even with all numbers quantized down to 8 bits, including the gradient accumulators. Additionally, we show that SWALP converges arbitrarily close to the optimal solution for quadratic objectives, and to a noise ball asymptotically smaller than low precision SGD in strongly convex settings.

研究の動機と目的

• 深層学習における低精度学習と完全精度学習の間の性能ギャップを埋める。
• モデルパラメータ、勾配、最適化子状態（例：モーメンタム）を含む、すべての学習コンponentのエンドツーエンド8ビット量子化を可能にする。
• 確率的重み平均化（SWA）を活用して、低精度学習における汎化性能とロバスト性を向上させる。
• 2次的および強い凸的目標関数下での、SWAを用いた低精度学習の収束特性を理論的に分析する。
• 8ビットSWALPが標準的なビジョンベンチマークで完全精度SGDと同等の汎化性能を達成することを実験的に検証する。

提案手法

• SWALPは、学習率スケジュールを変更した低精度確率的勾配降下法（SGD）に確率的重み平均化（SWA）を適用する。
• すべてのモデルパラメータ、勾配、最適化子状態（例：モーメンタム）が8ビット固定小数点精度に量子化される。
• 2段階の訓練スケジュールを採用：初期段階では減少する学習率で訓練し、その後は一定で小さい学習率でSWA平均化を実行。
• 事前に定めた訓練エポック数を経過した後、毎エポック（周波数c=1）で平均化が実行される。
• 最終的なモデルは、SWA段階中に収集された最後の数個のモデル重みの平均値である。
• 理論的分析により、SWALPが2次的目標関数では最適解に収束し、強い凸性を持つ設定では低精度SGDよりも小さな漸近的ノイズボールに収束することが示された。

実験結果

リサーチクエスチョン

• RQ1 すべてのコンponentが8ビットに量子化された状態で、確率的重み平均化（SWA）が低精度学習における性能劣化を効果的に緩和できるか？
• RQ2 8ビット量子化下でも、SWALPが2次的目標関数に対して最適解に収束するか？
• RQ3 強い凸的最適化問題において、SWALPが標準的な低精度SGDよりも小さな漸近的ノイズボールに収束するか？
• RQ4 SWALPは、CIFAR-10やCIFAR-100のような標準的なビジョンベンチマークで、完全精度SGDと同等の汎化性能を達成できるか？
• RQ5 学習率スケジュールと平均化周波数の選択が、低精度環境下でのSWALPの性能にどのように影響するか？

主な発見

• PreResNet-164を用いたCIFAR-100では、SWALPが27.11%のテスト誤差を達成し、完全精度SGDベースラインと同等の性能を示した。
• CIFAR-10におけるVGG-16では、SWALPが2.83%のテスト誤差を達成し、完全精度ベースラインと同等の性能を示した。
• MNISTにおけるロジスティック回帰では、8ビットSWALPが7.34%のテスト誤差を達成し、完全精度SGD（7.35%）と同等の性能を示した。
• 理論的分析により、8ビット量子化下でもSWALPが2次的目標関数に対して最適解に収束することが示された。
• 強い凸的目標関数では、SWALPが低精度SGDよりも小さな漸近的ノイズボールに収束することが示された。
• 平均値を8ビットブロック浮動小数点に量子化しても、テスト誤差がわずか0.2%増加するにとどまり、性能が維持された。