[논문 리뷰] Deep Learning Recommendation Model for Personalization and Recommendation Systems

Maxim Naumov, Dheevatsa Mudigere외 22명|arXiv (Cornell University)|2019. 05. 31.

Recommender Systems and Techniques참고 문헌 23인용 수 390

한 줄 요약

DLRM은 희소한 범주형 특징을 임베딩으로, 연속 특징을 MLP로 처리하고, 명시적 2차 상호작용과 최종 MLP를 통해 이벤트 확률을 예측하는 개인화 추천을 위한 최첨단 신경망을 제시합니다. 또한 다 GPU 하드웨어에서 임베딩과 MLP를 확장하기 위한 혼합 모델/데이터 병렬 처리 전략을 도입합니다.

ABSTRACT

With the advent of deep learning, neural network-based recommendation models have emerged as an important tool for tackling personalization and recommendation tasks. These networks differ significantly from other deep learning networks due to their need to handle categorical features and are not well studied or understood. In this paper, we develop a state-of-the-art deep learning recommendation model (DLRM) and provide its implementation in both PyTorch and Caffe2 frameworks. In addition, we design a specialized parallelization scheme utilizing model parallelism on the embedding tables to mitigate memory constraints while exploiting data parallelism to scale-out compute from the fully-connected layers. We compare DLRM against existing recommendation models and characterize its performance on the Big Basin AI platform, demonstrating its usefulness as a benchmark for future algorithmic experimentation and system co-design.

연구 동기 및 목표

• 개인화 추천 및 CTR 예측에서 신경망 모델의 필요성을 입증합니다.
• 요인화-기계(Factorization Machine) 스타일 상호작용과 MLP 헤드를 결합한 카테고리 특징에 대한 임베딩(embeddings)과 연속 특징에 대한 하단 Dense MLP를 포함하는统一 아키텍처를 제안합니다.
• DLRM의 오픈 소스 PyTorch 및 Caffe2 구현을 제공합니다.
• 대용량 임베딩 테이블에 대한 하이브리드 모델/데이터 병렬성 전략을 통해 메모리 및 계산 도전 과제를 해결합니다.

제안 방법

• 대규모 임베딩 테이블을 통해 범주형 특징을 임베딩으로 매핑하여 희소 입력을 Dense 벡터로 표현합니다.
• 연속 특징을 하단 MLP로 처리하여 임베딩과 길이가 맞는 Dense 표현을 얻습니다.
• 임베딩 벡터와 Dense 특징 간의 내적(dot-product)을 이용해 명시적 2차 상호작용을 계산하고, 이를 상호작용 중심 경로로 피드할 수 있습니다.
• 상호작용을 처리한 Dense 특징과 결합하고 상단 MLP를 통해 시그모이드를 통한 확률 값을 도출합니다.
• 표준 손실(크로스 엔트로피)을 SGD/Adagrad 옵티마이저로 훈련하고, Deep and Cross Networks와 같은 베이스라인 모델과 비교합니다.
• 임베딩에 대한 모델 병렬성(메모리 바운드)과 MLP에 대한 데이터 병렬성(계산 바운드)을 갖춘 하이브리드 병렬 접근법을 구현하며, 맞춤 임베딩 라우팅 및 올투올 통신은 PyTorch/Caffe2에서 기본적으로 지원되지 않지만 구현합니다.

실험 결과

연구 질문

• RQ1 범주형 특징의 임베딩 기반 표현을 연속 특징 처리와 효과적으로 통합하여 CTR/예측 성능을 향상시킬 수 있는 방법은 무엇인가요?
• RQ2 DLRM의 2차 상호작용이 다른 모델의 고차 상호작용과 비교하여 어떤 영향을 미치나요?
• RQ3 혼합 모델/데이터 병렬성 전략이 다중-GPU 하드웨어에서 매우 큰 임베딩 테이블을 효율적으로 교육할 수 있나요?
• RQ4 공개 CTR 데이터셋에서 DLRM이 정확성 및 매개변수 효율성 측면에서 기존 모델(예: DCN)과 비교했을 때 어떤 차이가 있나요?

주요 결과

• DLRM은 Criteo Ad Kaggle 데이터셋에서 하이퍼파라미터 튜닝 없이도 DCN보다 학습 및 검증 정확도가 약간 더 높습니다.
• 대규모 임베딩 테이블과 상당한 MLP를 갖춘 단일 소켓 디바이스 프로파일에서 임베딩 조회가 CPU에서 런타임의 지배적 원인이며, 완전 연결 계층이 GPU에서 지배적입니다.
• 모델은 수억 개의 매개변수를 포함할 수 있으며(보고된 구성에서 약 540M), 임베딩과 MLP 매개변수의 균형을 이룹니다.
• 특수한 하이브리드 병렬성 접근법(임베딩에 대한 모델 병렬성 및 MLP에 대한 데이터 병렬성)을 통해 다-GPU 하드웨어로의 확장을 가능하게 하며, 성능 프로파일링은 상당한 개선과 현실적인 타이밍 벤치마크를 보여줍니다(CPU ~256s, GPU ~62s for a sample configuration).
• 저자는 PyTorch 및 Caffe2의 오픈 소스 구현을 제공하고 Big Basin AI 플랫폼에서 Nvidia Tesla V100 8대 GPU로 평가합니다.