Skip to main content
QUICK REVIEW

[論文レビュー] EdgeMoE: Empowering Sparse Large Language Models on Mobile Devices

Rongjie Yi, Liwei Guo|arXiv (Cornell University)|Aug 28, 2023
Topic ModelingComputer Science被引用数 18
ひとこと要約

EdgeMoE は、エッジデバイス上の混合専門家大規模言語モデル(MoE LLM)用のオンデバイス推論エンジンで、メモリとストレージの分割、専門家ごとの量子化、メモリ内専門家管理を用いて、エッジデバイス上のスパースな LLM を効率的に実現します。

ABSTRACT

Large language models (LLMs) such as GPTs and Mixtral-8x7B have revolutionized machine intelligence due to their exceptional abilities in generic ML tasks. Transiting LLMs from datacenters to edge devices brings benefits like better privacy and availability, but is challenged by their massive parameter size and thus unbearable runtime costs. To this end, we present EdgeMoE, an on-device inference engine for mixture-of-expert (MoE) LLMs -- a popular form of sparse LLM that scales its parameter size with almost constant computing complexity. EdgeMoE achieves both memory- and compute-efficiency by partitioning the model into the storage hierarchy: non-expert weights are held in device memory; while expert weights are held on external storage and fetched to memory only when activated. This design is motivated by a key observation that expert weights are bulky but infrequently used due to sparse activation. To further reduce the expert I/O swapping overhead, EdgeMoE incorporates two novel techniques: (1) expert-wise bitwidth adaptation that reduces the expert sizes with tolerable accuracy loss; (2) expert preloading that predicts the activated experts ahead of time and preloads it with the compute-I/O pipeline. On popular MoE LLMs and edge devices, EdgeMoE showcase significant memory savings and speedup over competitive baselines. The code is available at https://github.com/UbiquitousLearning/mllm.

研究の動機と目的

  • メモリと I/O コストのため、エッジデバイス上で大規模 MoE LLM を展開する際の課題を動機付ける。
  • ホット(非専門家)とコールド(専門家)の重みをメモリと外部ストレージに分離することで、オンデバイス推論を可能にする EdgeMoE を提案する。
  • 専門家ごとのビット幅適応とメモリ内専門家管理という二つの技術を開発し、専門家 I/O のオーバーヘッドを低減する。
  • 複数の MoE モデルとエッジデバイスでアプローチをデモンストレーションし、メモリ節約と速度向上を示す。
  • エッジデバイス上での対話タスクを支援するための量子化と専門家プリロードのオフライン–オンラインワークフローを提供する。

提案手法

  • ストレージ階層でモデルの重みを分割する。非専門家の重みをデバイスメモリに保持し、アクティブ化された専門家のみを外部ストレージから読み込む。
  • ユーザー指定の精度低下の下で、専門家ごとのチャネル単位の線形量子化を適用して混合精度の専門家セットを作成する。
  • オフラインプロファイリングで専門家の重要度をランク付けしビット幅を割り当てる。専門家のビット幅選択を導く実行時モデルを構築する。
  • I/Oコストを隠すための専門家再バッチ処理と予測ベースのプリロードパイプラインを備えた、メモリ内専門家管理。
  • アクティベーション確率辞書を構築するためのオフラインプロファイリングを行い、発動しやすい専門家の予測的プリロードを支援する。
  • 専門家の活性化頻度と現在の計算における層の近接性を考慮したカスタムキャッシュ除去ポリシー。

実験結果

リサーチクエスチョン

  • RQ1大量の専門家を抱える MoE LLM を、メモリおよび I/O のボトルネックの中でどのように効率よくエッジデバイス上で動かせるか?
  • RQ2専門家ごとの量子化と予測的プリロードを活用して、オンデバイス MoE 推論のメモリフットプリントと待ち時間を削減できるか?
  • RQ3自 autoregressive デコード中のキャッシュヒットを最大化するために、専門家の重みをどのように整理・キャッシュすべきか?
  • RQ4EdgeMoE を用いた代表的なエッジプラットフォームでの性能向上(メモリと速度)は、ベースラインと比較してどの程度か?
  • RQ5EdgeMoE はエンコーダ-デコーダ型およびデコーダ中心型 MoE アーキテクチャおよび各種エッジハードウェアでどの程度一般化可能か?

主な発見

  • EdgeMoE は、全 MoE モデルをメモリに保持する場合と比較して、メモリフットプリントを約 1.05× 〜 1.18× 節約する。
  • EdgeMoE は、専門家ロードを伴う場合、メモリ最適化ベースラインに対して推論速度を 1.11× 〜 2.78× 向上させる。
  • このアプローチは、Jetson TX2 のような消費者向けエッジデバイス上で 10B 以上規模の MoE LLM の高速推論を可能にする。
  • 混合精度(INT2/INT4/INT8)の専門家量子化は、精度の小さな低下とともにストレージ要件を大幅に削減する。
  • 専門家ごとのビット幅適応とメモリ内専門家管理を組み合わせることで、ロードと計算の重なりを改善し、全体の待ち時間を削減する。
  • オフライン活性化プロファイリングとオンラインプリロードのパイプラインにより、層ごとに 1〜3 の専門家を事前ロードして I/O レイテンシを実運用で隠せる。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。