[논문 리뷰] DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving

Wei Deng, Junwei Pan외 4명|arXiv (Cornell University)|2020. 02. 17.

Recommender Systems and Techniques참고 문헌 59인용 수 4

한 줄 요약

DeepLight는 실시간 광고 서빙에서 클릭률(CTR) 예측을 가속화하기 위해 경량화되고 정렬된 신경망 프레임워크를 제안한다. 깊이 있는 신경망 레이어의 구조적 정렬, 희소 임베딩 벡터, 그리고 특성 상호작용을 위한 필드 가중 행렬을 공동으로 최적화함으로써 Criteo에서 46배, Avazu에서 27배의 속도 향상을 달성하면서 정확도 손실 없이 이루어지며, 복잡한 모델을 생산 환경에 효율적으로 구현할 수 있도록 한다.

ABSTRACT

Click-through rate (CTR) prediction is a crucial task in online display advertising. The embedding-based neural networks have been proposed to learn both explicit feature interactions through a shallow component and deep feature interactions using a deep neural network (DNN) component. These sophisticated models, however, slow down the prediction inference by at least hundreds of times. To address the issue of significantly increased serving delay and high memory usage for ad serving in production, this paper presents \emph{DeepLight}: a framework to accelerate the CTR predictions in three aspects: 1) accelerate the model inference via explicitly searching informative feature interactions in the shallow component; 2) prune redundant layers and parameters at intra-layer and inter-layer level in the DNN component; 3) promote the sparsity of the embedding layer to preserve the most discriminant signals. By combining the above efforts, the proposed approach accelerates the model inference by 46X on Criteo dataset and 27X on Avazu dataset without any loss on the prediction accuracy. This paves the way for successfully deploying complicated embedding-based neural networks in production for ad serving.

연구 동기 및 목표

• 실시간 광고 서빙 시스템에서 깊이 있는 임베딩 기반 CTR 모델의 높은 추론 지연과 메모리 오버헤드 문제를 해결한다.
• 생산 환경에서 모델 정확도와 추론 효율성 사이의 트레이드오프를 극복한다.
• 최첨단 예측 성능을 유지하면서도 빠르고 메모리 사용이 적은 추론을 가능하게 하는 프레임워크를 개발한다.
• 엄격한 지연 및 자원 제약 조건을 가진 대규모 온라인 광고 시스템에서 복잡한 딥러닝 모델의 실용적 구현을 가능하게 한다.

제안 방법

• 특성 상호작용 모델링을 위한 희소 구조를 가진 필드 가중 행렬을 갖춘 임베딩 기반 신경망인 DeepFwFM을 도입한다.
• 성능을 유지하면서도 불필요한 파라미터를 제거하기 위해 깊이 있는 신경망(DNN) 구성 요소에서 계층 간 정렬을 적용한다.
• 밀도 임베딩 벡터를 희소 표현으로 정렬함으로써 메모리 사용을 크게 감소시키고 추론 속도를 향상시킨다.
• 압축 과정 중 정확도를 유지하기 위해 전처리자 기반 최적화 전략을 사용하여 정렬을 이끌어낸다.
• DNN 레이어 정렬, 필드 행렬의 흐린성, 임베딩 벡터의 흐린성 등 여러 정렬 전략을 통합한 유일한 프레임워크인 DeepLight를 구현한다.
• 필드 가중 행렬의 본질적 흐린성 구조를 활용하여 성능 저하 없이 고압축 비율을 달성한다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망 레이어와 임베딩 벡터의 구조적 정렬이 정확도 손실 없이 CTR 예측을 가속화할 수 있는가?
• RQ2 필드 가중 행렬은 효율적인 추론을 위해 높은 성능과 높은 흐린성 모두를 달성하는 데 얼마나 효과적인가?
• RQ3 실제 광고 서빙 시스템에서 모델 압축(지연, 메모리)과 예측 정확도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 DNN, 필드 행렬, 임베딩 구성 요소 전반에 걸친 통합 정렬 전략이 개별 구성 요소를 별도로 정렬하는 것보다 뛰어난 속도 향상을 달성할 수 있는가?

주요 결과

• DeepLight는 Criteo 데이터셋에서 46배, Avazu 데이터셋에서 27배의 속도 향상을 달성하면서 AUC에 손실 없이 빠른 추론을 실현한다.
• Criteo에서 DNN 구성 요소의 99% 정렬, 필드 행렬의 95% 정렬, 임베딩의 40% 정렬를 적용한 결과 AUC는 0.8114를 유지하며 추론 지연은 0.093ms를 기록한다.
• Avazu에서 DNN의 98% 정렬, 필드 행렬의 90% 정렬, 임베딩의 0% 정렬을 적용한 결과 27배의 속도 향상을 달성하였고 AUC는 0.7894를 유지한다.
• 프레임워크는 Criteo에서 최대 10배, Avazu에서 최대 2.5배의 메모리 사용 감소를 이끌어내어 온라인 서빙에서 모델의 효율적 저장 및 검색을 가능하게 한다.
• DeepLight는 Sparse DeepFM, NFM, xDeepFM보다 빠르고 정확도 면에서 뛰어나 Criteo에서 0.8114의 AUC를 기록한 반면, Sparse DeepFM은 0.8032의 AUC를 기록한다.
• 필드 가중 행렬의 구조는 높은 흐린성과 효율적인 정렬을 가능하게 하여 CTR 모델의 구조적 압축에 특별히 적합하다.