[論文レビュー] Dancing along Battery: Enabling Transformer with Run-time Reconfigurability on Mobile Devices

Yuhong Song, Weiwen Jiang+7 more|arXiv (Cornell University)|Feb 12, 2021

Green IT and Sustainability参考文献 33被引用数 6

ひとこと要約

本論文は、モバイルデバイス上で実行時再構成可能なTransformerモデルを実現する二段階のAutoMLフレームワークRT³を提案する。RT³は、ブロック構造的プルーニング（BP）と強化学習ベースのパターンプルーニング（PP）を組み合わせ、ハードウェア（DVFS）とソフトウェア（動的パターン集合）の再構成を統合することで、Transformerモデルで4.9倍以上のバッテリー駆動時間延長を達成し、精度損失は1%未満（Transformerで1%未満、DistilBERTで1.5%未満）であり、45ms未満のモデル切り替え時間でリアルタイム性能を維持する。

ABSTRACT

A pruning-based AutoML framework for run-time reconfigurability, namely RT3, is proposed in this work. This enables Transformer-based large Natural Language Processing (NLP) models to be efficiently executed on resource-constrained mobile devices and reconfigured (i.e., switching models for dynamic hardware conditions) at run-time. Such reconfigurability is the key to save energy for battery-powered mobile devices, which widely use dynamic voltage and frequency scaling (DVFS) technique for hardware reconfiguration to prolong battery life. In this work, we creatively explore a hybrid block-structured pruning (BP) and pattern pruning (PP) for Transformer-based models and first attempt to combine hardware and software reconfiguration to maximally save energy for battery-powered mobile devices. Specifically, RT3 integrates two-level optimizations: First, it utilizes an efficient BP as the first-step compression for resource-constrained mobile devices; then, RT3 heuristically generates a shrunken search space based on the first level optimization and searches multiple pattern sets with diverse sparsity for PP via reinforcement learning to support lightweight software reconfiguration, which corresponds to available frequency levels of DVFS (i.e., hardware reconfiguration). At run-time, RT3 can switch the lightweight pattern sets within 45ms to guarantee the required real-time constraint at different frequency levels. Results further show that RT3 can prolong battery life over 4x improvement with less than 1% accuracy loss for Transformer and 1.5% score decrease for DistilBERT.

研究の動機と目的

• エネルギー制限のあるモバイルデバイスに大規模で高精度なTransformerモデルをリアルタイム性能を維持しながらデプロイする課題に対処すること。
• 変動する電力および性能要件に応じて、実行時におけるハードウェアおよびソフトウェアの再構成を可能にすること。
• モデル圧縮、エネルギー効率、推論遅延を統合最適化して、モバイルデプロイメントに適したフレームワークを構築すること。
• 複数の周波数レベルで軽量なモデル切り替えをサポートするスケーラブルで自動化されたフレームワークを開発すること。

提案手法

• RT³は、最初の段階としてモデルサイズの削減と、その後のパターンプルーニングのための『ホットスタート』を提供するため、ブロック構造的プルーニング（BP）を採用する。
• BPで処理されたモデルに基づき、ヒューリスティックを用いてパターン集合の縮小された探索空間を生成することで、冗長な強化学習（RL）トレーニングと探索コストを削減する。
• 強化学習（RL）を用いて、利用可能なDVFS周波数レベルに対応する多様なスパarsityレベルを持つ最適なパターン集合を探索する。
• フレームワークにより、45ms未満で軽量なパターン集合間のモデル切り替えが可能となり、リアルタイム制約を満たす。
• ハードウェア再構成（DVFS）とソフトウェア再構成（パターン集合）を組み合わせることで、エネルギー消費の最大限の削減を実現する。
• BP後はボトムアップモデルが固定されるため、実行時におけるすべてのパターン集合で一貫した精度が保証される。

実験結果

リサーチクエスチョン

• RQ1 ブロック構造的プルーニングとパターンプルーニングをハイブリッドで組み合わせることで、Transformerモデルを効果的に圧縮しながら精度を保持できるか？
• RQ2 縮小された探索空間内で強化学習が、軽量なソフトウェア再構成を可能にする最適なパターン集合を効率的に探索できるか？
• RQ3 モバイルデバイス上でのエネルギー消費を最大限に削減するために、ハードウェア（DVFS）とソフトウェア（パターン集合）の再構成をどのように統合最適化できるか？
• RQ4 リソース制限のある環境下で、実行時再構成性がどれほど精度を維持しながらバッテリー駆動時間を延長できるか？

主な発見

• RT³は、Transformerモデルで4.96倍のバッテリー駆動時間延長を達成し、精度損失はわずか0.95%にとどまる。
• DistilBERTでは、性能スコアの低下がたった1.5%に抑えられ、バッテリー駆動時間は4.9倍以上に延長される。
• フレームワークにより、異なるDVFS周波数レベル間で45ms未満の時間でパターン集合間のモデル切り替えが可能となり、リアルタイム制約を満たす。
• ブロック構造的プルーニングにより、WikiText-2で精度損失が0.64%にまで低下し、ランダムプルーニング（2.03%損失）を上回る性能を示し、効果的な探索空間の縮小が可能になる。
• BPとRLベースのPPの組み合わせは、ランダムなパターンプルーニング（11.07%損失）よりも優れた精度保持を達成し、4.88%の損失で済む。
• 可視化により、RLが特定したパターンがスパarsityレベルにかかわらず構造的特徴を保持していることが確認され、効果的な特徴保持が実現している。