Skip to main content
QUICK REVIEW

[논문 리뷰] Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations

Jiaqi Zhai, Lucy Liao|arXiv (Cornell University)|2024. 02. 27.
Recommender Systems and TechniquesComputer Science인용 수 5
한 줄 요약

이 논문은 추천을 순차적 생성 변환 태스크로 재구성하고 trillion-parameter Generative Recommenders를 가능하게 하는 고성능 인코더 HSTU를 도입하여 정확도에서 큰 이득과 Transformer 기초 모델 대비 상당한 속도 향상을 달성하며 추천에서도 확장 법칙이 유지된다.

ABSTRACT

Large-scale recommendation systems are characterized by their reliance on high cardinality, heterogeneous features and the need to handle tens of billions of user actions on a daily basis. Despite being trained on huge volume of data with thousands of features, most Deep Learning Recommendation Models (DLRMs) in industry fail to scale with compute. Inspired by success achieved by Transformers in language and vision domains, we revisit fundamental design choices in recommendation systems. We reformulate recommendation problems as sequential transduction tasks within a generative modeling framework ("Generative Recommenders"), and propose a new architecture, HSTU, designed for high cardinality, non-stationary streaming recommendation data. HSTU outperforms baselines over synthetic and public datasets by up to 65.8% in NDCG, and is 5.3x to 15.2x faster than FlashAttention2-based Transformers on 8192 length sequences. HSTU-based Generative Recommenders, with 1.5 trillion parameters, improve metrics in online A/B tests by 12.4% and have been deployed on multiple surfaces of a large internet platform with billions of users. More importantly, the model quality of Generative Recommenders empirically scales as a power-law of training compute across three orders of magnitude, up to GPT-3/LLaMa-2 scale, which reduces carbon footprint needed for future model developments, and further paves the way for the first foundational models in recommendations.

연구 동기 및 목표

  • Industrial-scale recommender 시스템에서 랭킹 및 검색을 순차적 생성 변환 태스크로 재구성한다.
  • 대규모, 비정상적인 어휘 및 스트리밍 데이터에 맞춘 고성능 인코더(HSTU)를 개발한다.
  • 학습 및 추론 비용을 줄여 훨씬 더 큰 모델의 학습을 가능하게 한다.
  • 대형 인터넷 플랫폼에서 실무 배포 및 온라인 개선을 입증한다.
  • 추천 모델에 대해 LLM에서 관찰되는 스케일링 법칙과 유사한 스케일링 법칙을 조사한다.

제안 방법

  • 이질적인 DLRM 특징 공간을 하나의 통합 시계열로 통합하여 순차적 트랜스덕션을 가능하게 한다.
  • Generative Recommenders(GRs)와 Hierarchical Sequential Transduction Unit(HSTU) 인코더를 도입하여 높은 카디널리티와 비정상적인 어휘를 처리한다.
  • softmax 어텐션을 포인트와이즈 집계 어텐션 메커니즘으로 대체하여 추천에서 목표 인지 상호 작용을 더 잘 포착한다.
  • 학습 중 시퀀스 길이를 선별적으로 줄이기 위한 Stochastic Length(SL) 등 희소성 인지 및 메모리 효율 기법을 도입한다.
  • M-FALCON이라는 마이크로 배치 어텐션 알고리즘을 개발하여 후보 간 추론 비용을 상쇄한다.
  • 생성 학습과 엔드투엔드 스트리밍 프레이밍을 통해 O(N^3d+N^2d^2)에서 O(N^2d+d^2)로 학습 시간 비용을 감소시킨다.

실험 결과

연구 질문

  • RQ1산업 규모의 추천 시스템에서 랭킹 및 검색을 효과적으로 순차적 생성 변환 태스크로 공식화할 수 있는가?
  • RQ2스트리밍 환경에서 수십억 규모의 어휘로 자기 주의(Self-Attention) 구조를 확장하기 위해 어떤 아키텍처 변화가 필요한가?
  • RQ3성능을 저하시키지 않으면서 학습 및 추론 비용을 줄여 trillion-parameter 모델을 지원할 수 있는가?
  • RQ4언어 모델에서 관찰되는 스케일링 법칙이 Generative Recommenders에 적용되는가?
  • RQ5전통적인 DLRM과 비교하여 온라인 A/B 테스트에서 생성적이고 목표 인식형 모델이 어떤 실용적 이점을 제공하는가?

주요 결과

  • HSTU 기반 GRs는 synthetic, public, industrial 데이터에서 DLRMs를 상당한 차이로 능가하며, synthetic/public 데이터 세트에서 최대 65.8%의 NDCG 이득을 달성한다.
  • HSTU는 8192 길이 시퀀스에서 FlashAttention2 기반 Transformer에 대해 5.3x에서 15.2x의 속도 향상을 달성한다.
  • 1.5 trillion 파라미터를 가진 GRs가 대형 플랫폼에서 순위 태스크에 대해 12.4%의 온라인 A/B 개선을 보여준다.
  • Generative Recommenders의 모델 품질은 세 가지 지수 차원의 학습 컴퓨트에 대해 점진적으로 증가하는 파워-법칙으로 확장되며, LLM 확장 아이디어와 유사하다.
  • M-FALCON은 후보 간 비용을 평균화하여 동일한 추론 예산 내에서 285배 더 복잡한 GR 모델을 다룰 수 있게 한다.
  • Stochastic Length(SL)는 NE/NDCG 메트릭에 최소한의 영향을 주면서 시퀀스 길이를 최대 약 80%까지 줄여 학습 비용의 큰 감소를 가능하게 한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.