[논문 리뷰] Improving Native Ads CTR Prediction by Large Scale Event Embedding and Recurrent Networks

Mehul Parsana, Krishna Poola외 2명|arXiv (Cornell University)|2018. 04. 24.

Recommender Systems and Techniques참고 문헌 7인용 수 7

한 줄 요약

이 논문은 사용자 브라우징 시퀀스에 대한 약한 지도 학습을 이용한 대규모 이벤트 임베딩 기반 기법을 제안하며, 순환 신경망과 어텐션 메커니즘을 결합하여 네이티브 광고 클릭률 예측 성능을 향상시킨다. 제안된 방법은 순차적인 사용자 행동을 효과적으로 모델링하고 URL, 제목, 설명으로부터 의미 있는 이벤트 표현을 학습함으로써 70.8%의 AUC를 달성하여 기존의 기준 모델들을 뛰어넘는다.

ABSTRACT

Click through rate (CTR) prediction is very important for Native advertisement but also hard as there is no direct query intent. In this paper we propose a large-scale event embedding scheme to encode the each user browsing event by training a Siamese network with weak supervision on the users' consecutive events. The CTR prediction problem is modeled as a supervised recurrent neural network, which naturally model the user history as a sequence of events. Our proposed recurrent models utilizing pretrained event embedding vectors and an attention layer to model the user history. Our experiments demonstrate that our model significantly outperforms the baseline and some variants.

연구 동기 및 목표

• 네이티브 광고에서 낮은 사용자 쿼리 의도 문제를 해결하기 위해 사용자 브라우징 이력을 순차적 이벤트로 모델링한다.
• 명시적인 쿼리 신호에 의존하지 않고 사용자 이벤트의 조밀하고 저차원 표현을 학습함으로써 클릭률 예측 정확도를 향상시킨다.
• URL, 제목, 설명에서 정서적 및 시간적 패턴을 포착하는 확장 가능한 약한 지도 학습 기반의 이벤트 임베딩 프레임워크를 개발한다.
• 사전 훈련된 이벤트 임베딩을 순환 모델에 통합하고 어텐션 메커니즘을 적용하여 장기적인 사용자 선호도와 순차적 의존성을 더 잘 포착한다.

제안 방법

• 연속적인 사용자 브라우징 이벤트를 대상으로 대칭 네트워크를 훈련시켜 잠재 공간 내에서 이벤트 임베딩을 학습하기 위해 대비 손실을 사용한다.
• 각 사용자 이벤트를 URL, 제목, 설명의 트리플릿으로 표현하고, 대칭 네트워크를 통해 고정 크기의 벡터 공간으로 임베딩한다.
• 사전 훈련된 이벤트 임베딩을 순환 신경망(LSTM 또는 GRU)의 입력으로 사용하여 사용자 활동의 순서를 모델링한다.
• 임bedded된 이벤트의 시퀀스에 어텐션 메커니즘을 적용하여 클릭률 예측에서 각 이벤트의 중요도를 동적으로 가중한다.
• 과적합 방지를 위해 드롭아웃과 기울기 클리핑을 적용하고 Adam 옵timizer를 사용하여 엔드 투 엔드 모델을 훈련시킨다.
• 실세계 네이티브 광고 클릭 예측 데이터를 사용하여 AUC를 평가하고, 사전 훈련된 임베딩 및 어텐션 기반 모델과 없는 모델을 비교한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 기반의 이벤트 임베딩이 네이티브 광고의 사용자 브라우징 이벤트로부터 의미적 및 시간적 패턴을 효과적으로 포착할 수 있는가?
• RQ2 RNN 기반 순차적 모델링을 도입할 경우, 백오브이벤츠 또는 비순차적 모델 대비 클릭률 예측 성능이 어떻게 향상되는가?
• RQ3 사전 훈련된 이벤트 임베딩을 사용할 경우, 엔드 투 엔드 임베딩 훈련 대비 모델 일반화 능력과 성능 향상 정도는 어느 정도인가?
• RQ4 이벤트 시퀀스에 어텐션을 적용할 경우, 관련된 이전 이벤트에 집중함으로써 클릭률 예측 성능이 추가로 향상되는가?
• RQ5 사용자 이력의 최적 길이는 얼마이며, 특정 길이를 초과하면 성능이 포화 상태에 도달하는가?

주요 결과

• 제안된 사전 훈련된 이벤트 임베딩 기반 기법은 클릭률 예측 성능을 크게 향상시켜 GRU와 어텐션을 사용할 경우 테스트 AUC가 70.8%에 도달하며, 모든 기준 모델들을 능가한다.
• 모든 설정에서 GRU 기반 모델이 LSTM 기반 모델보다 뛰어나며, 어 attention을 적용한 경우 최고의 AUC 70.8%를 기록한다.
• 어텐션 메커니즘이 성능 향상에 기여하며, GRU 모델에 적용했을 때 AUC가 69.7%에서 70.8%로 상승한다.
• 시퀀스의 마지막 10개 이벤트를 사용할 경우 더 나은 성능을 내지만, 10개를 초과하면 성능이 정체되며, 더 긴 이력에 대한 수익 감소 현상이 나타난다.
• 사전 훈련된 임베딩은 과적합을 줄이며, 훈련 AUC와 테스트 AUC의 격차가 더 작다(0.741 vs. 0.711)는 점에서 이를 입증한다. 이는 엔드 투 엔드 훈련 대비 과적합이 덜한 것을 의미한다(0.746 vs. 0.683).
• 사전 훈련된 임베딩 기반 기법은 새로운 아이템에 대해서도 잘 일반화되며, 풍부한 콘텐츠 특징이 없더라도 URL, 제목, 설명으로부터 강력한 표현을 학습한다.