[논문 리뷰] A Sparse Deep Factorization Machine for Efficient CTR prediction

Wei Deng, Junwei Pan외 3명|arXiv (Cornell University)|2020. 02. 17.

Image and Video Quality Assessment참고 문헌 30인용 수 3

한 줄 요약

이 논문은 CTR 예측을 가속화하기 위해 정보성 특징 상호작용을 명시적으로 탐색하고, 불필요한 DNN 레이어와 파라미터를 제거하며 임bedding의 희소성을 증진하는 스파ARSE 딥 팩터리제이션 머신인 DeepLight를 제안한다. Criteo 및 Avazu 데이터셋에서 각각 46배와 27배 빠른 추론을 달성하면서 정확도에 하락이 없어, 생산 환경의 광고 서빙 시스템에서 복잡한 모델의 효율적 구현을 가능하게 한다.

ABSTRACT

Click-through rate (CTR) prediction is a crucial task in online display advertising. The embedding-based neural networks have been proposed to learn both explicit feature interactions through a shallow component and deep feature interactions using a deep neural network (DNN) component. These sophisticated models, however, slow down the prediction inference by at least hundreds of times. To address the issue of significantly increased serving delay and high memory usage for ad serving in production, this paper presents \emph{DeepLight}: a framework to accelerate the CTR predictions in three aspects: 1) accelerate the model inference via explicitly searching informative feature interactions in the shallow component; 2) prune redundant layers and parameters at intra-layer and inter-layer level in the DNN component; 3) promote the sparsity of the embedding layer to preserve the most discriminant signals. By combining the above efforts, the proposed approach accelerates the model inference by 46X on Criteo dataset and 27X on Avazu dataset without any loss on the prediction accuracy. This paves the way for successfully deploying complicated embedding-based neural networks in production for ad serving.

연구 동기 및 목표

• 온라인 광고 서빙에서 임베딩 기반 신경망의 높은 추론 지연과 메모리 사용을 해결한다.
• 예측 정확도를 훼손하지 않고 복잡한 모델로 인한 서빙 지연을 줄인다.
• 추론 효율성을 최적화하여 딥러닝 모델의 생산 환경 배포를 가능하게 한다.
• 얕은 및 깊은 구성 요소 모두에서 구조적 희소성과 프루닝을 통해 모델의 표현력과 효율성을 균형 잡는다.

제안 방법

• 얕은 구성 요소에서 정보성 특징 상호작용을 명시적으로 탐색하여 불필요한 계산을 줄인다.
• 깊은 신경망(DNN) 구성 요소에서 내부 레이어 및 상호 레이어 프루닝을 적용하여 불필요한 뉴런과 파라미터를 제거한다.
• 임베딩 레이어에 희소성 정규화를 도입하여 가장 분류 능력이 뛰어난 신호만 유지한다.
• 스파ARSE 특징 상호작용 학습, 구조적 프루닝, 임베딩 희소성을 통합하여 추론 속도를 가속화한다.
• 예측 성능에 손상이 가지 않도록 모델 구성 요소 전반에 걸쳐 희소성과 프루닝을 통합하는 유일한 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 정보성 특징 상호작용을 명시적으로 탐색함으로써 예측 정확도를 해치지 않으면서 추론 비용을 줄일 수 있는가?
• RQ2 내부 레이어 및 상호 레이어 프루닝이 CTR 모델의 DNN 추론을 얼마나 가속화할 수 있는가?
• RQ3 임베딩 레이어에서의 희소성 정규화가 메모리 사용을 줄이면서도 분류 능력 있는 신호를 얼마나 효과적으로 유지하는가?
• RQ4 희소성, 프루닝, 효율적인 특징 상호작용 학습의 조합이 실세계 CTR 예측에서 상당한 속도 향상을 이룰 수 있는가?

주요 결과

• DeepLight는 기준 모델 대비 Criteo 데이터셋에서 추론 속도를 46배 빠르게 한다.
• Avazu 데이터셋에서 동일한 예측 정확도를 유지하면서 27배의 추론 속도 향상을 달성한다.
• 제안된 희소성 및 프루닝 기법은 모델 성능을 유지하면서 계산 및 메모리 오버헤드를 크게 줄인다.
• 스파ARSE 특징 상호작용 학습, 구조적 프루닝, 임베딩 희소성의 통합은 복잡한 모델을 생산 환경에 효율적으로 구현할 수 있게 한다.