[논문 리뷰] Using Neural Networks for Click Prediction of Sponsored Search

Afroze Ibrahim Baqapuri, Ilya Trofimov|arXiv (Cornell University)|2014. 12. 20.

Web Data Mining and Analysis참고 문헌 11인용 수 11

한 줄 요약

이 논문은 스폰서드 서치를 위한 이중 단계 클릭 예측 시스템을 제안하며, 피드포워드 신경망(ANNs)과 기울기 부스팅 결정 트리(MatrixNet)를 조합하여 클릭률(CTR) 추정을 향상시킨다. ANNs를 사용해 희박하고 고차원적인 ID 기반 특징을 모델링하고, 그 출력을 MatrixNet에 입력함으로써 기준 MatrixNet 시스템 대비 로그 우도에서 0.22% 향상되고 auPRC에서 0.48% 향상되는 결과를 도출하여 대규모 데이터에서 뚜렷한 성능 향상을 입증한다.

ABSTRACT

Sponsored search is a multi-billion dollar industry and makes up a major source of revenue for search engines (SE). click-through-rate (CTR) estimation plays a crucial role for ads selection, and greatly affects the SE revenue, advertiser traffic and user experience. We propose a novel architecture for solving CTR prediction problem by combining artificial neural networks (ANN) with decision trees. First we compare ANN with respect to other popular machine learning models being used for this task. Then we go on to combine ANN with MatrixNet (proprietary implementation of boosted trees) and evaluate the performance of the system as a whole. The results show that our approach provides significant improvement over existing models.

연구 동기 및 목표

• 검색 엔진 수익과 광고 관련성에 핵심적인 영향을 미치는 스폰서드 서치의 클릭률(CTR) 예측 향상.
• 광고 클릭 예측에서 흔히 나타나는 희박하고 고차원적인 ID 기반 특징을 모델링하는 데에 인공 신경망(ANNs)의 효과성 평가.
• Yandex의 기존 MatrixNet 기반 CTR 예측 파이프라인에 ANNs 통합 및 성능 향상 평가.
• 학습 데이터 크기와 앙상블 방법이 이 맥락에서 ANNs 성능에 미치는 영향 탐구.

제안 방법

• 시스템은 이중 단계 아키텍처를 사용한다: 첫 번째 단계에서 ANN은 원시적인 희박한 ID 기반 특징(예: 사용자, 광고, 검색어, 키워드 ID)을 1-of-k 인코딩 및 특징 빈도 기준 히프팅과 해싱을 통해 차원 축소를 거친다.
• ANN의 임bedding 레이어는 고차원 희박 특징의 조밀한 표현을 학습하고, 이를 다음 피드포워드 네트워크로 전달한다. 이 네트워크는 ReLU 활성화 함수를 사용한다.
• ANN의 출력은 MatrixNet, 즉 Yandex에서 이미 운영 중인 기울기 부스팅 결정 트리 모델의 추가 입력 특징으로 사용된다.
• 다양한 무작위 초기화로 여러 개의 네트워크를 훈련시켜 6개의 ANN 앙상블을 구성하고, 예측을 평균화함으로써 정확도와 견고성을 향상시킨다.
• 모델은 교차 엔트로피 손실과 L2 정규화를 사용해 훈련되며, 확률적 경사 하강법으로 최적화된다.
• 성능 평가는 로그 우도(NLL)와 정밀도-재현율 곡선 아래 면적(auPRC)을 사용하며, 데이터는 70% 훈련, 20% 검증, 10% 테스트 세트로 분할된다.

실험 결과

연구 질문

• RQ1 피드포워드 신경망은 스폰서드 서치 클릭 예측에서 희박하고 고차원적인 ID 기반 특징을 효과적으로 모델링할 수 있는가?
• RQ2 CTR 예측에서 전통적인 선형 모델(예: 로지스틱 회귀)과 비교했을 때 ANNs의 성능은 어떠한가?
• RQ3 ANNs를 기울기 부스팅 결정 트리(MatrixNet)와 융합함으로써 존재하는 MatrixNet 전용 시스템 대비 측정 가능한 향상이 이루어지는가?
• RQ4 학습 데이터 크기가 커질수록 ANNs와 로지스틱 회귀 간의 성능 격차는 어떻게 변화하는가?
• RQ5 이러한 저수준이고 변동성이 큰 특징 공간에서 앙상블 방법이 ANNs의 예측 능력을 추가로 향상시킬 수 있는가?

주요 결과

• 6개의 ANN 앙상블은 단일 ANN 대비 로그 우도에서 0.24% 향상되고 auPRC에서 1.15% 향상되어 앙상블 학습의 이점이 입증되었다.
• ANN 출력을 MatrixNet의 추가 입력 특징으로 사용함으로써 기준 MatrixNet(기존 특징만 사용) 대비 로그 우도에서 0.22% 향상되고 auPRC에서 0.48% 향상되었다.
• 학습 데이터 크기가 증가할수록 ANNs가 로지스틱 회귀를 앞서며, 성능 격차는 점차 커져 ANNs가 대규모 데이터를 더 효과적으로 활용함을 시사한다.
• 학습 데이터가 적을 경우 로지스틱 회귀가 단일 ANN보다 우수하지만, 데이터량이 증가함에 따라 ANN이 LR을 능가한다.
• 결과적으로 전체 시스템(ANN + MatrixNet)은 기존 생산 모델 대비 통계적으로 유의미한 향상을 보였으며, 실무적으로 의미 있는 0.22% 로그 우도 향상이 달성되었다.