[論文レビュー] Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations
論文は推奨を逐次的生成転写タスクとして再定義し、HSTU、すなわち高性能なエンコーダを導入して trillion-parameter Generative Recommenders を実現し、Transformer ベースラインに対して精度の大幅な向上と速度の substantial acceleration を達成するとともに、推奨に対するスケーリング法則が成立することを示す。
Large-scale recommendation systems are characterized by their reliance on high cardinality, heterogeneous features and the need to handle tens of billions of user actions on a daily basis. Despite being trained on huge volume of data with thousands of features, most Deep Learning Recommendation Models (DLRMs) in industry fail to scale with compute. Inspired by success achieved by Transformers in language and vision domains, we revisit fundamental design choices in recommendation systems. We reformulate recommendation problems as sequential transduction tasks within a generative modeling framework ("Generative Recommenders"), and propose a new architecture, HSTU, designed for high cardinality, non-stationary streaming recommendation data. HSTU outperforms baselines over synthetic and public datasets by up to 65.8% in NDCG, and is 5.3x to 15.2x faster than FlashAttention2-based Transformers on 8192 length sequences. HSTU-based Generative Recommenders, with 1.5 trillion parameters, improve metrics in online A/B tests by 12.4% and have been deployed on multiple surfaces of a large internet platform with billions of users. More importantly, the model quality of Generative Recommenders empirically scales as a power-law of training compute across three orders of magnitude, up to GPT-3/LLaMa-2 scale, which reduces carbon footprint needed for future model developments, and further paves the way for the first foundational models in recommendations.
研究の動機と目的
- 産業規模のレコメンダーシステムにおけるランキングと検索を生成モデルフレームワークの下で逐次転写タスクとして再定義する。
- 大規模で非定常な語彙とストリーミングデータに対応した高性能エンコーダ(HSTU)を設計する。
- トレーニングと推論コストを削減して、はるかに大きなモデルのトレーニングを可能にする。
- 大規模なインターネットプラットフォームでの実用的なデプロイとオンライン改善を示す。
- LLM におけるスケーリング法則と同様の推奨モデルのスケーリング法則を調査する。
提案手法
- 異種の DLRM フィーチャースペースを単一の統一時系列に統合して逐次転写を可能にする。
- Generative Recommenders(GRs)と Hierarchical Sequential Transduction Unit(HSTU)エンコーダを提案して高カーディナリティと非定常語彙に対応する。
- ソフトマックス注意機構をポイントワイズ集約注意機構に置換して、推奨におけるターゲット認識型の相互作用をよりよく捉える。
- 訓練時のシーケンス長を選択的に削減するStochastic Length(SL)を含む、疎性対応とメモリ効率技術を導入する。
- M-FALCON、マイクロバッチ付き注意アルゴリズムを開発して、多数の候補間で推論コストを分散させる。
- 生成的トレーニングとエンドツーエンドのストリーミングフレーミングを通じて、O(N^3d+N^2d^2) から O(N^2d+d^2) へ訓練コストの削減を実現する。
実験結果
リサーチクエスチョン
- RQ1産業規模の推奨システムにおけるランキングと検索を効果的に逐次生成転写タスクとして定式化できるか。
- RQ2ストリーミング設定で自己注意を十億規模の語彙へスケールさせるにはどのようなアーキテクチャ変更が必要か。
- RQ3パフォーマンスを犠牲にせずに訓練と推論コストを削減して兆パラメータモデルを支える方法は?
- RQ4言語モデルで観察されるスケーリング法則は推奨システムの Generative Recommenders に適用できるか。
- RQ5オンライン A/B テストで、伝統的な DLRM と比較して生成的でターゲット認識型モデルがどのような実用的利点をもたらすか。
主な発見
- HSTU ベースの GRs は synthetic、public、industrial データのいずれにおいても DLRMs を大きく上回り、synthetic/public データセットで最大 65.8% の NDCG 向上を達成する。
- HSTU は 8192-length シーケンスで FlashAttention2 ベースの Transformer に対して 5.3x から 15.2x のスピードアップを達成する。
- 1.5 trillion パラメータの GR は大規模プラットフォームでランキングタスクにおいてオンライン A/B 効果を 12.4% 向上させる。
- Generative Recommenders のモデル品質は、LLM のスケーリング洞察と並行して、トレーニング計算量の三次元にわたるべ power-law に従ってスケールする。
- M-FALCON は推論予算内でより複雑な GR モデルを 285x 拡張して扱えるようにし、コストを候補間で分散させる。
- Stochastic Length(SL)はシーケンス長を最大 ~80% 削減でき、NE/NDCG 指標への影響を最小限に抑えつつ、訓練コストを大幅に削減できる。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。