[論文レビュー] CPT: Efficient Deep Neural Network Training via Cyclic Precision

Yonggan Fu, Han Guo+5 more|arXiv (Cornell University)|Jan 25, 2021

Machine Learning and Data Classification参考文献 57被引用数 11

ひとこと要約

本論文は、DNN学習中に2つの境界間で精度を周期的に変化させることで最適化と効率性を向上させる動的低精度学習手法であるCyclic Precision Training（CPT）を提案する。CPTは一般化性能を向上させるとともに学習のばらつきを低減し、精度を維持または向上させながら、さまざまなモデルやデータセットで最大48%の学習効率向上を実現する。

ABSTRACT

Low-precision deep neural network (DNN) training has gained tremendous attention as reducing precision is one of the most effective knobs for boosting DNNs' training time/energy efficiency. In this paper, we attempt to explore low-precision training from a new perspective as inspired by recent findings in understanding DNN training: we conjecture that DNNs' precision might have a similar effect as the learning rate during DNN training, and advocate dynamic precision along the training trajectory for further boosting the time/energy efficiency of DNN training. Specifically, we propose Cyclic Precision Training (CPT) to cyclically vary the precision between two boundary values which can be identified using a simple precision range test within the first few training epochs. Extensive simulations and ablation studies on five datasets and eleven models demonstrate that CPT's effectiveness is consistent across various models/tasks (including classification and language modeling). Furthermore, through experiments and visualization we show that CPT helps to (1) converge to a wider minima with a lower generalization error and (2) reduce training variance which we believe opens up a new design knob for simultaneously improving the optimization and efficiency of DNN training. Our codes are available at: https://github.com/RICE-EIC/CPT.

研究の動機と目的

• 大規模な深層ニューラルネットワーク（DNN）の学習にかかる高い計算コストとエネルギー消費を低減すること、特にリソースが限られたエッジデバイスを対象とする。
• 学習中に精度を固定する静的低精度学習の限界を克服すること。これは収束や一般化性能の向上を妨げることがある。
• DNN学習のダイナミクスにおける精度と最適化率の類似性に着想を得て、動的精度スケジューリングを新たな最適化の自由度として探求すること。
• 初期段階で最小限のオーバーヘッドで最適な精度の下限と上限を自動的に特定できる実用的で自動チューニング可能な手法を開発すること。
• 画像分類や言語モデリングを含むさまざまなモデルとタスクにおいて、一貫して学習効率とモデル精度の両方を向上させること。

提案手法

• DNN学習中にユーザーが定義した2つの境界間で精度を周期的に変化させるフレームワーク「Cyclic Precision Training（CPT）」を提案する。
• 最初の数エポックで単純な精度範囲テストを実行し、計算コストをほとんどかけずに最適な下限および上限の精度を自動的に特定する。
• 精度の変化にコサイン型の周期的スケジュールを適用し、探索（低精度）と収束（高精度）のバランスを取る。これは周期的最適化率戦略を模倣する。
• 標準的なDNN学習パイプラインにCPTを統合し、重み、活性化、勾配、誤差の混合精度学習をサポートする。
• 複数の周期的パターン（例：三角形、コサイン減衰）をサポートし、それらが性能と耐性に与える影響を評価する。
• 低精度勾配を用いた逆伝搬と誤差補償を実装し、学習の安定性と精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 DNN学習中に精度を動的に変化させることで、静的低精度学習と比較して最適化と一般化性能が向上するか？
• RQ2 初期段階で計算コストをほとんどかけずに最適な精度の境界を自動的に特定できるか？
• RQ3 CPTはさまざまなモデルやデータセットにおいて、より広い最小値への収束と一般化誤差の低減にどのように寄与するか？
• RQ4 異なる周期的精度スケジュール（例：コサイン、三角形）は、学習効率とモデル精度にどのような影響を与えるか？
• RQ5 CPTは多様なDNNアーキテクチャとタスクにおいて、一貫して精度と学習効率のパレートフロンティアを改善できるか？

主な発見

• CPTはResNet-74とCIFAR-100において、静的ベースラインと比較して最大48.0%の計算コスト削減と最大2.03%のテスト精度向上を達成した。
• CIFAR-100やImageNet、言語モデリングタスクを含む11のモデルと5つのデータセットにおいて、CPTは一貫して高い精度（最大+2.03%）と低い計算コスト（最小-48.0%）を達成した。
• CPTは学習のばらつきを低減し、繰り返し実験における精度分布がタイトであることがボックスプロットから明らかで、より安定した学習を示している。
• コサイン、三角形、コサイン減衰などの異なる周期的パターンを用いたCPTは、すべて静的ベースラインを上回り、一部のモデルではコサインスケジュールを上回る精度を達成した。
• 損失関数の表面可視化により、CPTがより広い最小値へ収束し、一般化誤差が低いことが確認され、最適化上の利点が裏付けられた。
• 精度範囲テストは最初の数エポックで最適な境界をほとんどオーバーヘッドをかけずに特定でき、事前のハイパーパrameterチューニングなしでCPTの実用的導入が可能であることを示した。