Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Unified Embedding: Battle-Tested Feature Representations for Web-Scale ML Systems

Benjamin Coleman, Wang-Cheng Kang|arXiv (Cornell University)|2023. 05. 20.
Machine Learning and Data Classification인용 수 4
한 줄 요약

이 논문은 다수의 고카디널리티 카디널리티 특징 간에 단일 임bedding 공간을 공유하는 특징 다중화 프레임워크인 Unified Embedding을 소개한다. 이는 파라미터-정확도 트레이드오프를 파레토 최적화할 수 있도록 하며, 웹 스케일의 검색, 광고, 추천 시스템 다섯 곳에서 오프라인 및 온라인 메트릭 모두에서 유의미한 향상을 이룬다. 정확도 향상은 최대 +2.2% AUC 및 +0.62% 온라인 클릭스루율(CR)을 기록했으며, 구성 간소화와 하드웨어 호환성 향상도 함께 달성했다.

ABSTRACT

Learning high-quality feature embeddings efficiently and effectively is critical for the performance of web-scale machine learning systems. A typical model ingests hundreds of features with vocabularies on the order of millions to billions of tokens. The standard approach is to represent each feature value as a d-dimensional embedding, introducing hundreds of billions of parameters for extremely high-cardinality features. This bottleneck has led to substantial progress in alternative embedding algorithms. Many of these methods, however, make the assumption that each feature uses an independent embedding table. This work introduces a simple yet highly effective framework, Feature Multiplexing, where one single representation space is used across many different categorical features. Our theoretical and empirical analysis reveals that multiplexed embeddings can be decomposed into components from each constituent feature, allowing models to distinguish between features. We show that multiplexed representations lead to Pareto-optimal parameter-accuracy tradeoffs for three public benchmark datasets. Further, we propose a highly practical approach called Unified Embedding with three major benefits: simplified feature configuration, strong adaptation to dynamic data distributions, and compatibility with modern hardware. Unified embedding gives significant improvements in offline and online metrics compared to highly competitive baselines across five web-scale search, ads, and recommender systems, where it serves billions of users across the world in industry-leading products.

연구 동기 및 목표

  • 각 카디널리티 특징이 별도의 임베딩 테이블을 사용함으로써 발생하는 파라미터 폭발과 비효율 문제를 해결하기 위해.
  • 모델 성능이나 해석 가능성에 손상 없이 다수의 특징 간에 통합된 표현 공간을 제공하기 위해.
  • 검색, 광고, 추천 시스템에서 흔히 볼 수 있는 크고 동적인 어휘를 가진 모델에서 파라미터-정확도 트레이드오프를 개선하기 위해.
  • 현대 하드웨어 가속기와 호환되며, 프로덕션 환경에서 특징 엔지니어링을 단순화하는 시스템을 설계하기 위해.

제안 방법

  • 다양한 카디널리티 특징이 단일 임베딩 공간을 공유하는 프레임워크인 특징 다중화를 제안하며, 이는 파라미터 수를 감소시키면서도 특징별 표현을 유지한다.
  • 모든 특징 값이 공통의 d차원 공간 내에서 고유한 벡터로 매핑되는 공통 임베딩 테이블을 사용하며, 모델의 표현 능력이 특징 간 상호작용을 학습함으로써 특징을 구분할 수 있도록 한다.
  • 현대 TPU와 GPU와 호환되는 통합된 룩업 메커니즘을 적용하여, 다른 방법들에서 나타나는 복잡한 메모리 접근 패턴을 피한다.
  • 특징 다중화의 실용적 구현으로서 Unified Embedding를 도입하며, 구성 간소화와 변화하는 데이터 분포에 대한 동적 적응을 가능하게 한다.
  • 공통된 임베딩 공간을 활용하여 모델 훈련 과정에서 공유된 벡터 간의 특징 간 혼동을 최소화하고, 딥 네럴 네트워크의 표현 능력을 활용해 상호 간 충돌을 완화한다.
  • 다양한 아키텍처(DCN-V2, Two-tower, MMOE)와 도메인(제품, 단기 동영상, 앱)에 걸쳐 적용하여 광범위한 적용 가능성을 입증한다.
Figure 1 : Embedding methods for two categorical features. We highlight the lookup process for the first value $v_{1}$ of each feature. Hash tables randomly share representations within each feature, while Unified Embedding shares representations across features. To implement Unified Embedding with
Figure 1 : Embedding methods for two categorical features. We highlight the lookup process for the first value $v_{1}$ of each feature. Hash tables randomly share representations within each feature, while Unified Embedding shares representations across features. To implement Unified Embedding with

실험 결과

연구 질문

  • RQ1성능 저하 없이 단일 공통 임베딩 공간이 다수의 고카디널리티 카디널리티 특징을 효과적으로 표현할 수 있는가?
  • RQ2특징 다중화가 다양한 웹 스케일 벤치마크에서 모델 파라미터와 정확도 간의 파레토 최적 트레이드오프를 이끌어낼 수 있는가?
  • RQ3동적이고 파워-법칙 분포를 보이는 어휘를 가진 실세계 프로덕션 시스템에서 Unified Embedding의 성능은 어떠한가?
  • RQ4통합 임베딩이 특징별 임베딩 베이스라인 대비 온라인 비즈니스 메트릭(예: CTR, 리콜)을 유지하거나 향상시킬 수 있는가?
  • RQ5통합 접근 방식이 현대 가속기(TPU, GPU 등)와의 하드웨어 효율성과 호환성을 유지할 수 있는가?

주요 결과

  • 100억 이상의 어휘를 가진 제품 추천 작업에서 Unified Embedding는 AUC에 +2.2% 향상을 기록하여 뚜렷한 오프라인 성능 향상을 입증했다.
  • 단기 동영상 검색 시스템에서 Recall@1은 +7.3% 향상되어 관련 콘텐츠의 랭킹 향상이 확인되었다.
  • 온라인 A/B 테스트 결과, 단기 동영상 추천 시스템에서 클릭스루율(CTR)이 +0.62% 증가했으며, 다른 광고 및 앱 예측 작업에서는 각각 +0.44% 및 +0.11%의 성과 향상이 관찰되었다.
  • 모든 프로덕션 모델에서 정확도 향상에도 불구하고 모델 크기, 훈련 및 서빙 비용을 유지하거나 감소시켰다.
  • 특징 다중화는 어휘가 많고 변화가 빠른 환경(예: 동적 동영상 콘텐츠 시스템)에서 더 큰 이점을 제공했다.
  • Unified Embedding는 현대 하드웨어와 강력한 호환성을 보였으며, 특징 구성 간소화를 통해 프로덕션 환경에서의 광범위한 배포를 가능하게 했다.
Figure 2 : Single-layer neural embedding model with per-feature weights $\boldsymbol{\theta}_{t}$ (left). Mean embedding $\ell^{2}$ -norm (middle) and mean angle between all pairs of weight vectors $\boldsymbol{\theta}_{t_{1}},\boldsymbol{\theta}_{t_{2}}$ (right) as a function of table size for Crit
Figure 2 : Single-layer neural embedding model with per-feature weights $\boldsymbol{\theta}_{t}$ (left). Mean embedding $\ell^{2}$ -norm (middle) and mean angle between all pairs of weight vectors $\boldsymbol{\theta}_{t_{1}},\boldsymbol{\theta}_{t_{2}}$ (right) as a function of table size for Crit

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.