[논문 리뷰] Sequential Click Prediction for Sponsored Search with Recurrent Neural Networks

Yuyu Zhang, Hanjun Dai외 6명|arXiv (Cornell University)|2014. 04. 23.

Web Data Mining and Analysis참고 문헌 28인용 수 163

한 줄 요약

이 논문은 순환 신경망(RNN) 기반 프레임워크를 제안하여 스폰서드 서치에서 순차적 사용자 행동을 모델링함으로써 클릭-through 비율(CTR) 예측을 향상시킨다. RNN의 순환 구조를 통해 광고 노출 간의 시간적 의존성을 포착함으로써, 기존의 순서에 의존하지 않는 모델들인 로지스틱 회귀 및 피드포워드 신경망과 비교해 유의미하게 뛰어난 성능을 보이며, 대규모 상용 검색 로그에서 AUC 점수를 1.5–2% 절대적으로 향상시킨다.

ABSTRACT

Click prediction is one of the fundamental problems in sponsored search. Most of existing studies took advantage of machine learning approaches to predict ad click for each event of ad view independently. However, as observed in the real-world sponsored search system, user's behaviors on ads yield high dependency on how the user behaved along with the past time, especially in terms of what queries she submitted, what ads she clicked or ignored, and how long she spent on the landing pages of clicked ads, etc. Inspired by these observations, we introduce a novel framework based on Recurrent Neural Networks (RNN). Compared to traditional methods, this framework directly models the dependency on user's sequential behaviors into the click prediction process through the recurrent structure in RNN. Large scale evaluations on the click-through logs from a commercial search engine demonstrate that our approach can significantly improve the click prediction accuracy, compared to sequence-independent approaches.

연구 동기 및 목표

• 기존 클릭 예측 모델이 각 광고 노출를 독립적으로 다루며 사용자 행동의 시간적 의존성을 忽略하는 한계를 해결하기 위해.
• 이전 클릭, 체류 시간, 쿼리 기록과 같은 순차적 사용자 행동이 향후 클릭 확률에 미치는 영향을 조사하기 위해.
• 원시 클릭 로그에서 복잡한 순차적 의존성을 자동으로 학습하고 활용할 수 있는 딥러닝 프레임워크를 개발하기 위해.
• RNN이 스폰서드 서치 클릭 예측에서 장기적 및 단기적 행동 패턴을 모델링하는 데 효과적인지 검증하기 위해.

제안 방법

• 각 사용자의 광고 노출 이력을 시간 순서로 정렬된 시퀀스로 모델링하며, 각 요소에는 쿼리, 광고 텍스트, 클릭 여부, 체류 시간 등의 특징을 포함한다.
• 순환 구조를 통해 노출 간의 순차적 정보를 누적하는 은닉 상태를 갖는 순환 신경망(RNN)을 사용하여 시간적 의존성을 학습할 수 있도록 한다.
• 단기적 의존성을 명시적으로 모델링하기 위해, 역전파를 시간에 따라 수행(BPTT)하는 방식으로 RNN을 훈련시킨다.
• 추론 시, 순차 간의 역사적 맥락을 유지하기 위해 시퀀스 간에 순환 상태를 유지한다.
• 각 광고 노출의 클릭 확률을 예측하기 위해 RNN 출력을 최종 분류기(예: 소프트맥스 또는 시그모이드)와 통합한다.
• 실제 상용 검색 엔진의 타임스탬프가 부여된 로그를 활용하여 훈련 및 테스트 시퀀스를 구성함으로써 실제 세계의 관련성을 확보한다.

실험 결과

연구 질문

• RQ1 이전 클릭 및 체류 시간과 같은 사용자 행동의 시간적 의존성이 향후 광고 클릭 확률에 미치는 영향은 어떠한가?
• RQ2 RNN은 스폰서드 서치 클릭 행동에서 장기적 및 단기적 순차적 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 순차적 이력을 통합할 경우, 순서에 의존하지 않는 모델에 비해 클릭 예측 정확도는 어느 정도 향상되는가?
• RQ4 훈련 중에 언폴딩 스텝 수와 이력 시퀀스 길이에 따라 RNN 모델의 성능은 얼마나 민감하게 변하는가?

주요 결과

• RNN 모델은 대규모 상용 클릭-through 로그에서 로지스틱 회귀 및 피드포워드 신경망과 같은 기준 모델 대비 AUC 점수를 1.5–2% 절대적으로 향상시킨다.
• 추론 시 순환 상태를 제거하면 AUC가 89.75%에서 88.25%로 감소함으로써, 순차적 메모리가 성능에 핵심적임을 확인한다.
• 이력 시퀀스가 길어질수록 성능 향상이 이루어지며, 누적 기간이 길어질수록 RNN의 기준 모델 대비 상대적 성과 향상 폭이 더 크다.
• BPTT에서 최적의 언폴딩 스텝 수는 3이다. 이 이상이 되면 기울기 소실 현상으로 인해 성능이 저하되며, 이는 모델링 깊이와 안정성 사이의 상충 관계를 보여준다.
• RNN은 언폴딩을 통한 단기 의존성과 순환 가중치를 통한 장기 의존성을 효과적으로 포착하여 뛰어난 성능을 설명할 수 있다.
• 희귀 케이스이지만 이력 데이터가 제한된 경우에도 RNN은 뛰어난 성능을 유지하며, 희박한 시퀀스에 대한 강건성을 보여준다.