[論文レビュー] Progress and Tradeoffs in Neural Language Models

Raphael Tang, Jimmy Lin|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 21被引用数 5

ひとこと要約

この論文は、ニューラル言語モデル（NLMs）と従来のケスラー＝ネイ（KN-5）言語モデルとの間の品質–パフォーマンスのトレードオフを調査し、最先端のNLMs（AWD-LSTMやQRNN）が2.5倍低いパープレキシティを達成する一方で、ラズベリー・パイなどのモバイルデバイス上では推論遅延が49倍に、エネルギー消費量が32倍に増加することを示しており、顕著な精度向上の代償として重大なパフォーマンスコストが生じることを明らかにしている。

ABSTRACT

In recent years, we have witnessed a dramatic shift towards techniques driven by neural networks for a variety of NLP tasks. Undoubtedly, neural language models (NLMs) have reduced perplexity by impressive amounts. This progress, however, comes at a substantial cost in performance, in terms of inference latency and energy consumption, which is particularly of concern in deployments on mobile devices. This paper, which examines the quality-performance tradeoff of various language modeling techniques, represents to our knowledge the first to make this observation. We compare state-of-the-art NLMs with "classic" Kneser-Ney (KN) LMs in terms of energy usage, latency, perplexity, and prediction accuracy using two standard benchmarks. On a Raspberry Pi, we find that orders of increase in latency and energy usage correspond to less change in perplexity, while the difference is much less pronounced on a desktop.

研究の動機と目的

• 実世界のデプロイ環境におけるニューラル言語モデル（NLMs）と非ニューラルなケスラー＝ネイ（KN-5）言語モデルの間のパフォーマンスのトレードオフを定量化すること。
• 特にラズベリー・パイのようなモバイルプラットフォームにおける、モデルの複雑さが推論遅延およびエネルギー消費量に与える影響を評価すること。
• NLMsによるパープレキシティと次単語予測精度の向上が、モバイルアプリケーションにおける顕著な計算コストを上回るかどうかを評価すること。
• ペン・ツリー・バンクおよびウィキテキスト-103を含む複数のベンチマークで、AWD-LSTMおよびQRNNモデルとKN-5のパフォーマンスを比較すること。
• リソース制限のある環境におけるシステムに配慮したモデル選択の必要性を強調しつつ、言語モデルにおける品質–パフォーマンスのトレードオフを実証的に示すこと。

提案手法

• 標準的なベンチマーク（ペン・ツリー・バンクおよびウィキテキスト-103）を用いて、ケスラー＝ネイ5-gram（KN-5）と最先端のNLMs（AWD-LSTMおよびQRNN）を比較した。
• ラズベリー・パイ（ARMアーキテクチャ、モバイルデバイスを代表する）およびデスクトップCPU/GPU環境で、1クエリあたりの推論遅延とエネルギー消費量を測定した。
• 主な品質指標としてパープレキシティとR@3（3位以内に正解が含まれる確率）を用い、キーボードアプリケーションにおける次単語予測精度の代理指標としてR@3を活用した。
• KN-5、AWD-LSTM、QRNNの複数のモデルバージョンについて、検証セットおよびテストセットの両方でパフォーマンスデータを収集した。
• パープレキシティとR@3の関係を分析し、パープレキシティが実用的な予測品質の信頼できる代理指標であるかどうかを評価した。
• 遅延（ms/クエリ）、エネルギー消費量（mJ/クエリ）、パープレキシティ、R@3の指標を報告し、品質とパフォーマンスのトレードオフを直接比較可能にするようにした。

実験結果

リサーチクエスチョン

• RQ1 モバイルハードウェア上での最先端NLMsと非ニューラルなKN-5モデルとの間で、推論遅延とエネルギー消費量はどのように異なるか？
• RQ2 NLMsによるパープレキシティの向上が、実世界のベンチマーク上での次単語予測精度（R@3）にどの程度の実測可能な向上をもたらすか？
• RQ3 モバイルデバイスとデスクトップシステムの両方でNLMsをデプロイする際の、品質–パフォーマンスのトレードオフの規模はどの程度か？
• RQ4 異なる言語モデルやデータセットにおいて、パープレキシティとR@3の関係は線形的か、予測可能か？
• RQ5 ハードウェアアクセcelerationによってNLMsのパフォーマンスコストを軽減できるか？また、デスクトップとモバイルプラットフォームの両方でその影響がどのように変化するか？

主な発見

• ラズベリー・パイ上では、KN-5からQRNNに移行することでパープレキシティが2.5倍低減したが、推論遅延は7 ms/クエリから348 ms/クエリへと49倍に増加し、エネルギー消費量は6 mJ/クエリから192 mJ/クエリへと32倍に増加した。
• AWD-LSTMモデルはペン・ツリー・バンクでKN-5に比べて2.5倍のパープレキシティ低減を達成したが、ラズベリー・パイ上では1クエリあたり223 msおよび295 mJを要し、KN-5に比べて32倍遅く、50倍もエネルギー消費量が多かった。
• デスクトップ環境では、NLMsはCPU上でKN-5に比べて9倍遅く、GPUでは2倍遅くしかならず、パフォーマンス劣化が特にモバイルプラットフォームで顕著であることがわかった。
• ラズベリー・パイ上でのwt103-qrnnモデルは1回の予測に1.2秒以上を要し、予測テキスト入力のようなリアルタイムアプリケーションには使用不可能であった。
• 顕著なパープレキシティの向上にもかかわらず、R@3の向上は限定的であった：データセット全体で22–34％の改善にとどまり、キーボードアプリケーションにおける実用的利点は限定的であった。
• logパープレキシティ–R@3関係は強く線形的であった（PTBではr² = 0.88、WT103ではr² = 0.93）、これによりlogパープレキシティが次単語予測品質の信頼できる代理指標であることが示された。