[論文レビュー] E2-Train: Training State-of-the-art CNNs with Over 80% Less Energy

Yue Wang, Ziyu Jiang+5 more|arXiv (Cornell University)|Oct 29, 2019

Advanced Neural Network Applications被引用数 4

ひとこと要約

E2-Train は、確率的ミニバッチドロップ、選択的レイヤーアップデート、符号に基づく低精度の誤差逆伝搬の3つの補完的戦略を通じて、CNNの学習エネルギーを最大90％まで削減する新しいフレームワークを提案する。CIFAR-10でResNet-74を学習する際、トップ-1精度が2％低下するのみで90％以上のエネルギー削減を達成した。

ABSTRACT

Convolutional neural networks (CNNs) have been increasingly deployed to edge devices. Hence, many efforts have been made towards efficient CNN inference on resource-constrained platforms. This paper attempts to explore an orthogonal direction: how to conduct more energy-efficient training of CNNs, so as to enable on-device training? We strive to reduce the energy cost during training, by dropping unnecessary computations, from three complementary levels: stochastic mini-batch dropping on the data level; selective layer update on the model level; and sign prediction for low-cost, low-precision back-propagation, on the algorithm level. Extensive simulations and ablation studies, with real energy measurements from an FPGA board, confirm the superiority of our proposed strategies and demonstrate remarkable energy savings for training. For example, when training ResNet-74 on CIFAR-10, we achieve aggressive energy savings of >90% and >60%, while incurring a top-1 accuracy loss of only about 2% and 1.2%, respectively. When training ResNet-110 on CIFAR-100, an over 84% training energy saving is achieved without degrading inference accuracy.

研究の動機と目的

• エッジデバイスでのCNN学習にかかる高コストなエネルギー消費を低減し、デバイス内でのモデル適応を可能にする。
• 推論最適化とは直交するエネルギー効率性の向上を、CNN学習の文脈で探求する。
• データ、モデル、アルゴリズムの各レベルでエネルギー消費を低減する包括的アプローチを開発する。
• モデルの精度を損なわず、学習エネルギーを著しく低減することで、実用的なデバイス内学習を実現する。

提案手法

• 特定のバッチに対して不要な順伝搬および誤差逆伝搬をスキップするため、確率的なミニバッチドロップを実装する。
• 誤差逆伝搬中に、重要度が低いと特定されたレイヤーの更新をスキップすることで、選択的レイヤーアップデートを適用する。
• 勾配を二値化した符号予測を用いて勾配を近似し、低精度で低エネルギーな誤差逆伝搬を実現する。
• 3つの戦略を統合したフレームワークを構築し、学習フェーズ全体にわたりエネルギー削減を最大化する。
• 実際のエネルギー測定をFPGAプラットフォーム上で行い、実用的なエネルギー効率性を保証する。
• 適応的閾値と動的スケジューリングにより、エネルギー削減とモデル精度のトレードオフを最適化する。

実験結果

リサーチクエスチョン

• RQ1 モデル精度を劣化させることなく、CNN学習におけるエネルギー消費をどの程度削減できるか？
• RQ2 確率的ミニバッチドロップは、学習中の計算負荷低減にどの程度有効か？
• RQ3 選択的レイヤーアップデートは、エネルギー消費を最小限に抑えながらもモデル性能を維持できるか？
• RQ4 符号に基づく勾配近似は、学習の収束性と精度にどのような影響を与えるか？
• RQ5 複数レベルのエネルギー削減戦略を組み合わせた場合、全体の学習効率にどのような影響があるか？

主な発見

• CIFAR-10でResNet-74を学習する際、E2-Train はトップ-1精度が2％低下するのみで90％以上のエネルギー削減を達成した。
• CIFAR-100でResNet-110を学習する際、元の推論精度を維持したまま、84％以上のエネルギー削減が達成された。
• CIFAR-10で60％のエネルギー削減を達成したが、トップ-1精度の低下はわずか1.2％にとどまり、高い効率-精度トレードオフを示した。
• FPGAボード上での実際のエネルギー測定により、提案手法のエネルギー削減戦略の実用性とスケーラビリティが確認された。
• データレベル、モデルレベル、アルゴリズムレベルの最適化の組み合わせにより、個々のコンponentsを上回る相乗効果によるエネルギー削減が得られた。
• 低精度の誤差逆伝搬に符号予測を用いることで、メモリおよび計算エネルギーを著しく削減し、収束性に悪影響を及げないことが示された。