[論文レビュー] Adaptive Pruning of Neural Language Models for Mobile Devices

Raphael Tang, Jimmy Lin|arXiv (Cornell University)|Sep 27, 2018

Advanced Neural Network Applications参考文献 19被引用数 4

ひとこと要約

この論文は、モバイル言語モデル向けに、推論時における刈り込み技術を用いた準再帰的ニューラルネットワーク（QRNN）の適応的刈り込みを提案している。これにより、推論時にモデルの精度と効率のトレードオフを動的に調整可能となる。$L_0$正則化刈り込みが、誤差率（perplexity）と精度のバランスを最良に達成しており、最新のモデルと比較して、Raspberry Pi上で40%のエネルギー消費削減を達成したが、誤差率は17%相対的に増加した。

ABSTRACT

Neural language models (NLMs) exist in an accuracy-efficiency tradeoff space where better perplexity typically comes at the cost of greater computation complexity. In a software keyboard application on mobile devices, this translates into higher power consumption and shorter battery life. This paper represents the first attempt, to our knowledge, in exploring accuracy-efficiency tradeoffs for NLMs. Building on quasi-recurrent neural networks (QRNNs), we apply pruning techniques to provide a "knob" to select different operating points. In addition, we propose a simple technique to recover some perplexity using a negligible amount of memory. Our empirical evaluations consider both perplexity as well as energy consumption on a Raspberry Pi, where we demonstrate which methods provide the best perplexity-power consumption operating point. At one operating point, one of the techniques is able to provide energy savings of 40% over the state of the art with only a 17% relative increase in perplexity.

研究の動機と目的

• モバイルデバイスにおけるニューラル言語モデル（NLM）の精度-効率トレードオフの領域を調査すること。高精度であるほど、電力消費が増加する傾向がある。
• 推論リクエストごとに調整可能な、推論時における刈り込み技術を用いた、モデルの効率性と精度のランタイム・アダプティブ制御を可能にすること。
• 理論的FLOP推定に依存せず、実際のモバイルハードウェア（Raspberry Pi）上でエネルギー消費とレイテンシを評価すること。
• 最小限の追加メモリを用いて、誤差率の損失を回復する軽量な手法を提案すること。
• 複数の刈り込み戦略（例：ランダム、フィルターノルム、平均活性化、$L_0$）を、誤差率とエネルギー効率の両面からベンチマーク・比較すること。

提案手法

• 事前に学習済みのQRNNに推論時刈り込みを適用し、デプロイ時におけるモデルの複雑さを動的に調整可能にする。
• 4つの刈り込み戦略を用いる：ランダムフィルタ刈り込み、フィルターノルム刈り込み、平均活性化刈り込み、$L_0$正則化。
• パラメータの損失を最小限のメモリオーヘッド（WT103モデルで120 KB未満）で回復するための単一ランク重み更新技術を採用する。
• Raspberry Pi上でエネルギー消費とレイテンシを測定し、実世界の効率性を評価する。FLOPsと電力およびレイテンシの相関関係を分析する。
• QRNNの入力層と出力層の重みを結びつけることで、パラメータ数とメモリフットプリントを削減し、効率性を向上させる。
• 未刈り込みモデルに対するFLOPsの割合を変更することで、複数の動作ポイント（例：100%、80%、70%、60%、50%）で刈り込みを評価する。

実験結果

リサーチクエスチョン

• RQ1 推論時刈り込みは、モバイルデバイス上でのニューラル言語モデルに対して、調整可能な精度-効率のスイッチを提供できるか？
• RQ2 ランダム、フィルターノルム、平均活性化、$L_0$正則化のうち、どの刈り込み戦略が誤差率とエネルギー効率のバランスを最良に達成するか？
• RQ3 単一ランク重み更新は、無視できるメモリコストで刈り込みによる性能損失をどの程度回復できるか？
• RQ4 FLOPs、レイテンシ、エネルギー消費の間に強い線形関係があるか？
• RQ5 Raspberry Pi上で得た実世界のエネルギーとレイテンシ測定値は、モバイルデプロイメントにおけるNLMの効率性を正確に反映しているか？

主な発見

• $L_0$正則化刈り込み法が、Penn TreebankおよびWikiText-103の両データセットで、ランダム、フィルターノルム、平均活性化刈り込みを上回る、最良の誤差率-精度のバランスを達成した。
• ランダム刈り込みは予想に反して優れた性能を示し、フィルターノルムおよび平均活性化刈り込みを上回り、単一ランク更新による誤差率回復もより効果的であった。
• フィルターノルム刈り込みは、すべての評価ケースでランダム刈り込みより劣っており、ランダム刈り込みよりも実用的利点がないことが示された。
• FLOPsとレイテンシ、エネルギー消費との間に強く、線形の関係が存在し、Raspberry Pi上でのピアソンの$r^2 = 0.98$を示した。
• 単一ランク更新技術により、120 KB未満の追加メモリで性能を回復でき、モバイルデプロイメントに実用的であることが示された。
• ある動作ポイントにおいて、最新の最先端技術と比較して40%のエネルギー消費削減を達成したが、誤差率は17%相対的に増加した。