[논문 리뷰] Deep Interest Network for Click-Through Rate Prediction

Guorui Zhou, Chengru Song외 8명|arXiv (Cornell University)|2017. 06. 21.

Recommender Systems and Techniques참고 문헌 29인용 수 38

한 줄 요약

이 논문은 클릭-through 비율(CTR) 예측을 위한 새로운 딥러닝 모델인 딥 인터스트 네트워크(DIN)를 제안한다. 이 모델은 각 후보 광고에 대해 관련된 이력 행동에 주목함으로써 사용자 관심 표현을 동적으로 적응시킨다. 국소 활성화 유닛과 데이터 적응 기법을 도입함으로써 DIN은 다양한 사용자 관심을 더 잘 모델링할 수 있게 되었으며, 실세계 데이터셋에서 SOTA 수준의 AUC 0.6083을 달성했고, 온라인 A/B 테스트에서 CTR가 최대 10.0% 향상되었다.

ABSTRACT

Click-through rate prediction is an essential task in industrial applications, such as online advertising. Recently deep learning based models have been proposed, which follow a similar Embedding\&MLP paradigm. In these methods large scale sparse input features are first mapped into low dimensional embedding vectors, and then transformed into fixed-length vectors in a group-wise manner, finally concatenated together to fed into a multilayer perceptron (MLP) to learn the nonlinear relations among features. In this way, user features are compressed into a fixed-length representation vector, in regardless of what candidate ads are. The use of fixed-length vector will be a bottleneck, which brings difficulty for Embedding\&MLP methods to capture user's diverse interests effectively from rich historical behaviors. In this paper, we propose a novel model: Deep Interest Network (DIN) which tackles this challenge by designing a local activation unit to adaptively learn the representation of user interests from historical behaviors with respect to a certain ad. This representation vector varies over different ads, improving the expressive ability of model greatly. Besides, we develop two techniques: mini-batch aware regularization and data adaptive activation function which can help training industrial deep networks with hundreds of millions of parameters. Experiments on two public datasets as well as an Alibaba real production dataset with over 2 billion samples demonstrate the effectiveness of proposed approaches, which achieve superior performance compared with state-of-the-art methods. DIN now has been successfully deployed in the online display advertising system in Alibaba, serving the main traffic.

연구 동기 및 목표

• 기존의 임bedding&MLP 모델에서 사용자 표현 벡터의 고정 길이로 인해 다양한 사용자 관심이 단일 고정 벡터로 압축되는 한계를 해결하기 위해.
• 광고별로 동적으로 적응하는 사용자 관심 표현을 가능하게 함으로써 CTR 예측에서 딥러닝 모델의 표현 능력을 향상시키기 위해.
• 수십억 개의 파라미터와 희소 특성을 가진 대규모 산업용 딥 네트워크에 적합한 훈련 기법을 개발하기 위해.
• 오프라인 및 온라인 평가를 통해 DIN의 효과성을 실세계 온라인 광고 시스템에서 검증하기 위해.

제안 방법

• 후보 광고에 대한 관련성에 따라 사용자 행동에 대한 주목 가중치를 계산하는 국소 활성화 유닛을 도입하여 광고별로 사용자 관심 표현을 가능하게 한다.
• 학습된 주목 가중치를 사용해 사용자 행동 임베딩에 대해 가중 평균 풀링을 적용함으로써 맥락 인식 사용자 임베딩을 생성한다.
• 미니배치 인식 정규화를 제안하며, 이는 각 미니배치에서 비영인 특성 파라미터에 대해서만 L2 정규화를 계산함으로써 계산 비용을 절감한다.
• 데이터 분포에서 파rameter를 학습하는 데이터 적응형 활성화 함수(Dice)를 제안하여 훈련 안정성과 성능을 향상시킨다.
• 사용자 및 아이템 특성을 위한 공유 임베딩 레이어를 갖춘 이중타워 아키텍처를 설계하고, 상호작용 및 완전 연결 레이어를 통해 최종 예측을 수행한다.
• t-SNE 시각화를 통해 DIN이 임베딩 공간에서 군집화되고 다중모달인 사용자 관심 표현을 학습함을 확인한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 고정 길이의 벡터를 사용하는 대신, 후보 광고의 맥락에 따라 사용자 관심 표현을 동적으로 적응시킬 수 있는가?
• RQ2 이력 행동에 대한 국소 주목이 고정 길이 사용자 임베딩에 비해 CTR 예측 성능을 어떻게 향상시키는가?
• RQ3 미니배치 인식 정규화를 통해 희소 특성과 수십억 개의 파라미터를 가진 대규모 딥 네트워크의 효율적 훈련이 가능할 수 있는가?
• RQ4 데이터 적응형 Dice 활성화 함수가 산업용 CTR 예측 작업에서 수렴성과 성능을 향상시키는가?
• RQ5 DIN은 실제 프로덕션 광고 시스템에서 온라인 CTR와 수익 지표를 얼마나 향상시키는가?

주요 결과

• DIN은 알리바바 실세계 데이터셋에서 AUC 0.6083을 달성하여 기존 SOTA 모델보다 상대적 향상률 11.65%를 기록했다.
• 온라인 A/B 테스트 결과, 이전 온라인 모델 대비 CTR가 최대 10.0% 향상되었고, RPM은 3.8% 향상되었다.
• 국소 활성화 유닛은 주목 가중치를 통해 후보 광고에 가장 관련성이 높은 행동을 성공적으로 강조함을 시각화로 확인했다.
• t-SNE 시각화 결과, DIN이 임베딩 공간에서 군집화되고 다중모달인 사용자 관심 분포를 학습함을 확인했으며, 동일한 카테고리의 아이템들이 명확한 군집을 이룬다.
• 미니배치 인식 정규화와 Dice 활성화 함수의 조합이 표준 훈련 대비 AUC를 0.0054 향상시켰다.
• DIN은 알리바바의 온라인 디스플레이 광고 시스템에 성공적으로 배포되어 저지연, 고처리량 추론을 통해 주요 트래픽을 처리하고 있다.