[논문 리뷰] EENMF: An End-to-End Neural Matching Framework for E-Commerce Sponsored Search

Wenjin Wu, Guojun Liu외 6명|arXiv (Cornell University)|2018. 12. 04.

Recommender Systems and Techniques참고 문헌 25인용 수 24

한 줄 요약

이 논문은 사용자 행동 시퀀스를 활용하여 벡터 기반 광고 검색과 신경망 사전순위를 함께 최적화하는 엔드 투 엔드 신경 매칭 프레임워크인 EENMF를 제안한다. 주어진 질의와 최근 상호작용을 주목사용자 기반 GRU-RNN으로 모델링하고, 순위 단계의 CTR 모델과 일관된 점별 교차 엔트로피 손실을 기반으로 훈련함으로써, 실제 운영 환경에서 광고 매칭의 효과성과 효율성을 크게 향상시켰으며, 키워드 기반 기준선을 능가한다.

ABSTRACT

E-commerce sponsored search contributes an important part of revenue for the e-commerce company. In consideration of effectiveness and efficiency, a large-scale sponsored search system commonly adopts a multi-stage architecture. We name these stages as ad retrieval, ad pre-ranking and ad ranking. Ad retrieval and ad pre-ranking are collectively referred to as ad matching in this paper. We propose an end-to-end neural matching framework (EENMF) to model two tasks---vector-based ad retrieval and neural networks based ad pre-ranking. Under the deep matching framework, vector-based ad retrieval harnesses user recent behavior sequence to retrieve relevant ad candidates without the constraint of keyword bidding. Simultaneously, the deep model is employed to perform the global pre-ranking of ad candidates from multiple retrieval paths effectively and efficiently. Besides, the proposed model tries to optimize the pointwise cross-entropy loss which is consistent with the objective of predict models in the ranking stage. We conduct extensive evaluation to validate the performance of the proposed framework. In the real traffic of a large-scale e-commerce sponsored search, the proposed approach significantly outperforms the baseline.

연구 동기 및 목표

• 광고주가 모든 관련 키워드에 입찰하기 어려운 장기 광고 질의에 대해 키워드 기반 광고 검색의 비효율성을 해결한다.
• 계산 복잡도로 인해 개인화된 특징을 갖는 딥 모델을 광고 매칭 단계에서 활용하지 못하는 한계를 극복한다.
• 순위 단계의 CTR 예측 모델과 일치하기 위해 점별 교차 엔트로피 손실을 기반으로 훈련하여 매칭 단계와 순위 단계 간 최적화 목표를 통합한다.
• 학습된 사용자 및 광고 임베딩을 통해 키워드 없는 광고 검색을 가능하게 하여 신규 및 장기 광고 질의에 대한 커버리지 향상

제안 방법

• 사용자 질의와 최근 행동 시퀀스를 주목사용자 기반 GRU-RNN으로 인코딩하여 순서적이고 맥락적인 의도를 반영하는 밀도 높은 사용자 벡터를 생성한다.
• 딥 네트워크를 훈련시켜 사용자 벡터와 광고 벡터 간의 의미적 유사도를 계산함으로써 키워드 제약 없이 벡터 기반 광고 검색을 가능하게 한다.
• 오프라인 추론을 통해 모든 광고의 광고 임베딩($V_a$)을 생성하고 색인화하여 온라인 추론 시 빠른 검색을 가능하게 한다.
• 검색 인プレ션 로그에서 유도된 점별 교차 엔트로피 손실을 사용하여 검색 및 사전순위 컴포넌트를 함께 훈련함으로써 순위 단계의 목표와 일치시킨다.
• 동일한 딥 모델을 사용하여 키워드 기반 및 벡터 기반 등 여러 검색 경로를 통합한 유일한 글로벌 사전순위 단계를 구성한다.
• 벡터 기반 검색된 광고에 대해 OCPC(최적화된 클릭당 비용)를 적용하여 광고주 비용 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 키워드 기반 광고 검색을 벡터 기반 검색으로 효과적으로 대체하면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 개인화된 사용자 행동 시퀀스가 스폰서드 서치에서 광고 매칭 정확도에 얼마나 기여하는가?
• RQ3 매칭 모델을 점별 교차 엔트로피 손실로 훈련시키면 순위 단계의 후속 CTR 예측 모델과의 일관성이 향상되는가?
• RQ4 기존의 키워드 기반 시스템과 비교해 실제 전자상거래 트래픽 환경에서 제안된 프레임워크는 어떻게 성능을 발휘하는가?

주요 결과

• EENMF 프레임워크는 대규모 전자상거래 스폰서드 서치 플랫폼에서 실제 트래픽에서 키워드 기반 기준선을 크게 능가한다.
• 벡터 기반 광고 검색은 키워드 입찰으로 잘 커버되지 않는 장기 및 신규 질의에 대해 효과적인 커버리지를 제공한다.
• 주목사용자 기반 GRU-RNN을 통한 사용자 행동 시퀀스 통합은 검색된 광고 후보의 관련성 향상에 기여한다.
• 점별 교차 엔트로피 손실로 훈련하면 매칭 단계와 순위 단계 간 일관성이 향상되어 전체 시스템 성능 향상에 기여한다.
• 프레임워크는 단일 엔드 투 엔드 모델 내에서 검색 및 글로벌 사전순위를 성공적으로 지원하여 복잡성을 감소시키고 효율성을 향상시킨다.
• 온라인 평가 결과 EENMF는 시스템 효율성에 영향을 주지 않으면서 광고 매칭 효과성을 향상시켜 대규모 배포에 적합함을 확인했다.