Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Unified Embedding: Battle-Tested Feature Representations for Web-Scale ML Systems

Benjamin Coleman, Wang-Cheng Kang|arXiv (Cornell University)|May 20, 2023
Machine Learning and Data Classification被引用数 4
ひとこと要約

この論文では、複数の高基数カテゴリカル特徴にわたる1つの埋め込み空間を共有する特徴多重化フレームワークであるUnified Embeddingを紹介している。これにより、パラメータ数と精度のパラトリアス最適なトレードオフが実現可能となる。5つのウェブスケールの検索、広告、レコメンデーションシステムにおいて、オフラインおよびオンラインメトリクスに顕著な向上が見られ、AUCで最大+2.2%、オンラインクリックスルーレート（CTR）で最大+0.62%の向上を達成した。また、構成の簡素化とハードウェア互換性の向上も実現した。

ABSTRACT

Learning high-quality feature embeddings efficiently and effectively is critical for the performance of web-scale machine learning systems. A typical model ingests hundreds of features with vocabularies on the order of millions to billions of tokens. The standard approach is to represent each feature value as a d-dimensional embedding, introducing hundreds of billions of parameters for extremely high-cardinality features. This bottleneck has led to substantial progress in alternative embedding algorithms. Many of these methods, however, make the assumption that each feature uses an independent embedding table. This work introduces a simple yet highly effective framework, Feature Multiplexing, where one single representation space is used across many different categorical features. Our theoretical and empirical analysis reveals that multiplexed embeddings can be decomposed into components from each constituent feature, allowing models to distinguish between features. We show that multiplexed representations lead to Pareto-optimal parameter-accuracy tradeoffs for three public benchmark datasets. Further, we propose a highly practical approach called Unified Embedding with three major benefits: simplified feature configuration, strong adaptation to dynamic data distributions, and compatibility with modern hardware. Unified embedding gives significant improvements in offline and online metrics compared to highly competitive baselines across five web-scale search, ads, and recommender systems, where it serves billions of users across the world in industry-leading products.

研究の動機と目的

  • 各カテゴリカル特徴が別個の埋め込みテーブルを使用するため、ウェブスケールの機械学習システムで発生するパラメータの爆発と非効率を解消すること。
  • モデルの性能や解釈可能性を損なわせることなく、複数の特徴にわたる統一された表現空間を実現すること。
  • 検索、広告、レコメンデーションシステムに一般的に見られる大規模で動的な語彙を持つモデルにおける、パラメータ数と精度のトレードオフを改善すること。
  • 現代のハードウェアアクセラレータと互換性があり、本番環境における特徴工学の簡素化を可能にするシステムを設計すること。

提案手法

  • 複数のカテゴリカル特徴が1つの埋め込み空間を共有する「特徴多重化」を提案。これにより、パラメータ数を削減しながらも、特徴固有の表現を維持できる。
  • 各特徴値が共通のd次元空間内に一意のベクトルにマッピングされる共有埋め込みテーブルを採用。モデルの容量を活用して、学習された相互作用により特徴を区別可能にする。
  • 現代のTPUやGPUと互換性がある統一されたルックアップメカニズムを採用。これにより、代替手法で見られる複雑なメモリアクセスパターンを回避できる。
  • 特徴多重化の実用的インスタンスとしてUnified Embeddingを導入。構成の簡素化と、変化するデータ分布への動的適応を可能にする。
  • 共有埋め込み空間を採用。モデル学習段階で、共有ベクトルであっても特徴間の区別が可能になるように学習され、深層ニューラルネットワークの表現能力を活用して特徴間の衝突を軽減する。
  • DCN-V2、Two-tower、MMOEなど多様なアーキテクチャおよび製品、ショートフォーム動画、アプリなど多様な分野に適用。広範な適用可能性を実証した。
Figure 1 : Embedding methods for two categorical features. We highlight the lookup process for the first value $v_{1}$ of each feature. Hash tables randomly share representations within each feature, while Unified Embedding shares representations across features. To implement Unified Embedding with
Figure 1 : Embedding methods for two categorical features. We highlight the lookup process for the first value $v_{1}$ of each feature. Hash tables randomly share representations within each feature, while Unified Embedding shares representations across features. To implement Unified Embedding with

実験結果

リサーチクエスチョン

  • RQ1パラメータ数の増加を抑えつつ、性能の低下を来さずに、1つの共有埋め込み空間が複数の高基数カテゴリカル特徴を効果的に表現できるか？
  • RQ2特徴多重化は、多様なウェブスケールベンチマークにおいて、モデルのパラメータ数と精度の間でパラトリアス最適なトレードオフを達成できるか？
  • RQ3動的でパワー則分布を示す語彙を持つ実世界の本番システムにおいて、Unified Embeddingはどの程度の性能を示すか？
  • RQ4統一された埋め込みアプローチは、特徴別埋め込みベースラインと比較して、オンラインビジネスメトリクス（例：CTR、リコール）を維持または向上できるか？
  • RQ5統一されたアプローチは、TPUやGPUなどの現代のアクセラレータと高いハードウェア効率性と互換性を維持できるか？

主な発見

  • 100億語彙を持つ製品レコメンデーションタスクにおいて、AUCが+2.2%向上し、顕著なオフライン性能の向上を示した。
  • ショートフォーム動画リtrieバルシステムでは、Recall@1が+7.3%向上し、関連コンテンツの順序付けが改善した。
  • オンラインA/Bテストでは、ショートフォーム動画レコメンデーションシステムでクリックスルーレート（CTR）が+0.62%向上。広告およびアプリ予測タスクでも、それぞれ+0.44%および+0.11%の向上を記録した。
  • 顕著な精度向上にもかかわらず、すべての本番モデルでモデルサイズ、トレーニング・サービングコストを維持または削減した。
  • 特徴多重化は、語彙が大きく、変動が激しい環境（例：動的動画コンテンツシステム）においてより顕著な利点を示した。
  • Unified Embeddingは、現代のハードウェアと強い互換性を示し、特徴構成の簡素化を実現。本番環境での広範な展開を可能にした。
Figure 2 : Single-layer neural embedding model with per-feature weights $\boldsymbol{\theta}_{t}$ (left). Mean embedding $\ell^{2}$ -norm (middle) and mean angle between all pairs of weight vectors $\boldsymbol{\theta}_{t_{1}},\boldsymbol{\theta}_{t_{2}}$ (right) as a function of table size for Crit
Figure 2 : Single-layer neural embedding model with per-feature weights $\boldsymbol{\theta}_{t}$ (left). Mean embedding $\ell^{2}$ -norm (middle) and mean angle between all pairs of weight vectors $\boldsymbol{\theta}_{t_{1}},\boldsymbol{\theta}_{t_{2}}$ (right) as a function of table size for Crit

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。