[논문 리뷰] Understanding Scaling Laws for Recommendation Models

Newsha Ardalani, Carole-Jean Wu외 3명|arXiv (Cornell University)|2022. 08. 17.

Complex Network Analysis Techniques인용 수 5

한 줄 요약

이 논문은 딥러닝 추천 모델(DLRM)에 대한 경험적 스케일링 법칙을 수립하며, 클릭률(CTR) 성능이 모델 크기, 데이터 크기, 계산 자원에 대해 거듭제곱 법칙 + 상수 형태로 따라가며, 파ram터 스케일링이 포화에 가까워지고 있음을 보여준다. 이에 따라 향후 아키텍처적 돌파구가 나타날 때까지 데이터 스케일링이 가장 효율적인 방향으로 간주된다.

ABSTRACT

Scale has been a major driving force in improving machine learning performance, and understanding scaling laws is essential for strategic planning for a sustainable model quality performance growth, long-term resource planning and developing efficient system infrastructures to support large-scale models. In this paper, we study empirical scaling laws for DLRM style recommendation models, in particular Click-Through Rate (CTR). We observe that model quality scales with power law plus constant in model size, data size and amount of compute used for training. We characterize scaling efficiency along three different resource dimensions, namely data, parameters and compute by comparing the different scaling schemes along these axes. We show that parameter scaling is out of steam for the model architecture under study, and until a higher-performing model architecture emerges, data scaling is the path forward. The key research questions addressed by this study include: Does a recommendation model scale sustainably as predicted by the scaling laws? Or are we far off from the scaling law predictions? What are the limits of scaling? What are the implications of the scaling laws on long-term hardware/system development?

연구 동기 및 목표

• DLRM 아키텍처에 대한 경험적 스케일링 법칙을 규명하고, 특히 클릭률(CTR) 예측에 초점을 맞춘다.
• 데이터 크기, 모델 파라미터, 계산 예산의 세 가지 차원에서 스케일링 효율성을 평가한다.
• 현재 추천 모델의 스케일링 추세가 이론적 스케일링 법칙과 일치하는지 여부를 판단한다.
• 미래의 모델 성장과 자원 수요를 예측하여 장기적인 시스템 및 하드웨어 설계를 안내한다.
• 이전 연구에서 자주 생략된 임bedding 파라미터가 전체 모델 스케일링 행동에 미치는 영향을 평가한다.

제안 방법

• 모델 크기(N), 데이터 크기(D), 계산 예산(C)의 3개 주요 척도에서 CTR 모델 성능을 경험적으로 측정한다. 이 범위는 3개의 주요 척도에서 1000배 이상의 변화를 포함한다.
• 성능 곡선을 거듭제곱 법칙 + 상수 함수에 적합시킨다: $ L(x) = \alpha x^{-\beta} + \gamma $, 여기서 $ x $ 는 D, N, 또는 C를 의미한다.
• 네 가지 스케일링 전략을 비교한다: 수직/수평 임베딩 스케일링, 오버아크 레이어 스케일링, 전체 MLP 너비 스케일링.
• 모든 실험에서 성능 지표로 정규화된 교차 엔트로피 손실을 사용한다.
• 적합된 거듭제곱 법칙에서 지수 $ \beta $ 와 상수 $ \gamma $ 를 분석하여 스케일링 효율성을 평가하며, $ \gamma $ 는 무한한 스케일에서의 이론적 성능 한계를 나타낸다.
• 적합된 거듭제곱 법칙에서 유도된 데이터 효율성, 파라미터 효율성, 계산 효율성 지표를 사용해 다양한 스케일링 기법을 비교한다.

실험 결과

연구 질문

• RQ1 추천 모델이 거듭제곱 법칙 예측에 따라 지속적으로 스케일링되는가, 아니면 크게 이탈하는가?
• RQ2 데이터 스케일링, 파라미터 스케일링, 계산 스케일링이 CTR 모델 성능 향상에 있어 상대적으로 어떤 효율성을 가지는가?
• RQ3 임베딩 테이블 스케일링(수직/수평), MLP 레이어 스케일링, 오버아크 레이어 스케일링 등의 다양한 스케일링 전략이 자원 단위당 성능 향상에서 어떻게 비교되는가?
• RQ4 현재 DLRM 아키텍처의 스케일링 실질적 한계는 무엇이며, 파라미터 스케일링이 언제 비효율적으로 전환되는가?
• RQ5 스케일링 법칙은 대규모 추천 시스템의 장기적인 하드웨어 및 시스템 인프라 설계에 어떻게 기여할 수 있는가?

주요 결과

• CTR 모델 성능은 모델 크기, 데이터 크기, 계산 예산과 함께 거듭제곱 법칙 + 상수 형태의 관계를 보이며, 모든 곡선에서 $ R^2 > 0.99 $ 를 기록한다.
• 파라미터 스케일링은 수익 감소 현상이 나타나며, 파라미터 스케일링의 지수 $ \beta $ 는 근처 0(0–0.5)에 가까워져 파라미터 증가에 따른 성능 향상이 미미함을 시사한다.
• 데이터 스케일링이 가장 효율적인 방향으로 간주되며, 데이터 효율성 지수 $ \beta = 0.07 $ 으로 파라미터 스케일링보다 뚜렷이 뛰어나다.
• 계산 스케일링 효율성은 높은 편이지만($ \beta = 0.11 $), 여전히 데이터 스케일링보다 효율성이 떨어지며, ROI 측면에서도 데이터 스케일링이 뛰어나다.
• 거듭제곱 법칙의 상수 항 $ \gamma $ 는 0.98(정규화된 엔트로피)로 제한되어 있어 현재 모델들이 이론적 무한 스케일 성능 한계에서 2% 이내에 있음을 나타낸다.
• 임베딩 파라미터는 모델 용량의 90% 이상을 차지하며, 그 스케일링 행동이 핵심적이다. 수직 및 수평 임베딩 스케일링은 유사한 효율성을 보이지만, 양자 모두 데이터 스케일링보다 효율성이 열 劣하다.