[論文レビュー] A Review of Sparse Expert Models in Deep Learning

William Fedus, Jeff Dean+1 more|arXiv (Cornell University)|Sep 4, 2022

COVID-19 diagnosis using AI被引用数 33

ひとこと要約

本論文は深層学習におけるスパースエキスパートモデル（例： Mixture-of-Experts）を網羅的に調査し、アーキテクチャ、ルーティング機構、スケーリング則、そしてクロスドメインの応用を詳述する。システムレベルの考慮点と sparse experts の今後の方向性を強調する。

ABSTRACT

Sparse expert models are a thirty-year old concept re-emerging as a popular architecture in deep learning. This class of architecture encompasses Mixture-of-Experts, Switch Transformers, Routing Networks, BASE layers, and others, all with the unifying idea that each example is acted on by a subset of the parameters. By doing so, the degree of sparsity decouples the parameter count from the compute per example allowing for extremely large, but efficient models. The resulting models have demonstrated significant improvements across diverse domains such as natural language processing, computer vision, and speech recognition. We review the concept of sparse expert models, provide a basic description of the common algorithms, contextualize the advances in the deep learning era, and conclude by highlighting areas for future work.

研究の動機と目的

• 深層学習におけるスパースエキスパートモデルの概念と歴史を説明する。
• 共通のアーキテクチャ（例：MoE、Switch Transformers）とそれらのルーティング機構を要約する。
• 上流および下流のスケーリング特性と、ハードウェアおよびシステム上の考慮点を議論する。
• クロスドメインの応用（NLP、CV、音声、マルチモーダル）と新興のトレンドを強調する。
• スパースエキスパートモデリングにおける未解決の課題と将来の研究方向性を特定する。

提案手法

• 初期の MoE 研究から現代の Transformer ベースのアプローチまで、スパースエキスパートモデルの進化を説明する。
• 主要なルーティングアルゴリズム（top-k、top-1、BASE layers、 RL-based routing）とそれらのトレードオフを要約する。
• 有効パラメータ数（EPC）とトークン予算の考慮を含むスケーリング分析について論じる。
• ハードウェア共設計と分散学習手法（データ/モデル/エキスパート並列性、all2all 通信、負荷分散）をレビューする。
• テキスト、画像パッチ、スペクトログラムなど、ドメイン横断の応用とドメイン固有のルーティング入力を総合する。

実験結果

リサーチクエスチョン

• RQ1 深層学習におけるスパースエキスパートモデルの定義的特徴と変種は何か？
• RQ2 ルーティングアルゴリズムとハードウェア共設計は、性能、効率性、スケーラビリティにどのように影響するか？
• RQ3 スパースエキスパートモデルの上流および下流で観察されるスケーリング挙動は何か？
• RQ4 NLP、ビジョン、音声などの領域でスパースエキスパートモデルはどのように性能を示し、どのような転移ダイナミクスが現れるか？
• RQ5 スパースエキスパートアーキテクチャにおける主要な未解決課題と今後の有望な方向性は何か。

主な発見

• スパースエキスパートモデルはパラメータ数と各例の計算を分離し、非常に大規模でありながら効率的なモデルを実現する。
• 上流のスケーリングは事前学習タスクでの利得を示す一方、下流の転移はタスクやドメインをまたいで混在する。
• Few-shot およびファインチューニングの場面はスパースエキスパートから恩恵を受ける可能性があり、いくつかの設定で密結合ベースラインを上回る顕著な利得がある。
• システムレベルの進歩（分散学習、通信効率の良いルーティング、メモリ管理）は実用性とスピードアップを向上させる。
• NLP、ビジョン、音声の分野で、スパースエキスパート手法（例：ST-MoE、GLaM）はFLOPsやエネルギー消費を削減しつつ、競争力のあるまたは優れた性能を示している。
• スパースモデルのキャリブレーションはスケールとともに改善され、高い計算予算では密なモデルに匹敵するか近づくことが多い。