[논문 리뷰] Personalized Query Auto-Completion Through a Lightweight Representation of the User Context

Manojkumar Rangasamy Kannadasan, Grigor Aslanyan|arXiv (Cornell University)|2019. 05. 03.

Information Retrieval and Search Behavior인용 수 4

한 줄 요약

이 논문은 사용자 컨텍스트 쿼리의 fastText 기반 임베딩을 사용하여 후보 완성과의 의미적 유사도를 측정함으로써 경량적이고 확장 가능한 개인화 쿼리 자동완성 방법을 제안한다. 이러한 임베딩 유도 특징을 LambdaMART 랭킹 모델에 통합함으로써, 사용자 컨텍스트가 있는 세션에서 기준 랭킹 모델보다 최대 10% 향상되고, 가장 인기 있는 완성(Most Popular Completion) 기준보다 20–30% 향상된 성능을 달성하며, 전통적인 텍스트 기반 개인화 특징보다도 뛰어난 성능을 보인다.

ABSTRACT

Query Auto-Completion (QAC) is a widely used feature in many domains, including web and eCommerce search, suggesting full queries based on a prefix typed by the user. QAC has been extensively studied in the literature in the recent years, and it has been consistently shown that adding personalization features can significantly improve the performance of QAC. In this work we propose a novel method for personalized QAC that uses lightweight embeddings learnt through fastText. We construct an embedding for the user context queries, which are the last few queries issued by the user. We also use the same model to get the embedding for the candidate queries to be ranked. We introduce ranking features that compute the distance between the candidate queries and the context queries in the embedding space. These features are then combined with other commonly used QAC ranking features to learn a ranking model. We apply our method to a large eCommerce search engine (eBay) and show that the ranker with our proposed feature significantly outperforms the baselines on all of the offline metrics measured, which includes Mean Reciprocal Rank (MRR), Success Rate (SR), Mean Average Precision (MAP), and Normalized Discounted Cumulative Gain (NDCG). Our baselines include the Most Popular Completion (MPC) model as well as a ranking model without our proposed features. The ranking model with the proposed features results in a $20-30\\%$ improvement over the MPC model on all metrics. We obtain up to a $5\\%$ improvement over the baseline ranking model for all the sessions, which goes up to about $10\\%$ when we restrict to sessions that contain the user context. Moreover, our proposed features also significantly outperform text based personalization features studied in the literature before, and adding text based features on top of our proposed embedding based features results only in minor improvements.

연구 동기 및 목표

• 최근 쿼리에서의 사용자 컨텍스트를 활용하여 쿼리 자동완성의 개인화를 향상시키기 위해.
• 의미적 유사도 모델링을 위한 사용자 컨텍스트의 확장 가능하고 가벼운 표현을 fastText 임베딩을 통해 개발하기 위해.
• 이러한 임베딩을 러닝-투-랭크 프레임워크에 통합하여 후보 쿼리 랭킹을 향상시키기 위해.
• 기존의 텍스트 기반 개인화 특징과 비교하여 임베딩 기반 특징의 효과성을 평가하기 위해.
• 대규모 상용 검색 엔진(이베이)에서 오프라인 메트릭에서의 성능 향상을 입증하기 위해.

제안 방법

• 사용자 컨텍스트는 사용자가 최근에 발행한 쿼리의 시퀀스로 표현되며, 임베딩 학습을 위해 단일 문서로 간주된다.
• fastText를 사용하여 컨텍스트 쿼리와 후보 쿼리 양쪽에 대해 조밀하고 서브워드 인식 임베딩을 학습한다.
• 사용자 컨텍스트 임베딩과 각 후보 쿼리 임베딩 간의 코사인 유사도를 핵심 랭킹 특징으로 계산한다.
• 이러한 임베딩 기반 특징을 표준 QAC 랭킹 특징(예: 인기, 시간 민감도 등)과 결합하여 LambdaMART 랭킹 모델에 통합한다.
• 모델은 대규모 이베이 검색 데이터셋에서 훈련 및 평가되며, 특징 기여도 분석을 위한 아블레이션 스터디를 수행한다.
• 랭킹 결과에 대한 임베딩 유사도의 영향을 분석하기 위해 부분 의존도 플롯을 사용한다.

실험 결과

연구 질문

• RQ1 사용자 컨텍스트 쿼리의 가벼운 fastText 기반 임베딩이 쿼리 자동완성 랭킹 성능을 향상시킬 수 있는가?
• RQ2 QAC에서 임베딩 기반 특징의 성능은 전통적인 텍스트 기반 개인화 특징과 비교해 어떻게 되는가?
• RQ3 기존 특징과 결합했을 때 임베딩 기반 특징이 랭킹 메트릭에 얼마나 향상시키는가?
• RQ4 사용자 컨텍스트가 제공되는 세션에서 모델이 더 큰 향상을 보이는가?
• RQ5 개별 컨텍스트 쿼리 임베딩이 최종 랭킹 점수에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 임베딩 기반 랭킹 모델은 MRR, SR, MAP, NDCG를 포함한 모든 오프라인 메트릭에서 가장 인기 있는 완성(Most Popular Completion) 기준보다 20–30% 향상된 성능을 달성한다.
• 사용자 컨텍스트가 포함된 세션에서 모델은 기준 랭킹 모델보다 최대 10% 향상되며, 컨텍스트 기반 개인화의 가치를 입증한다.
• 임베딩 기반 특징은 텍스트 기반 개인화 특징보다 뛰어나며, 전체 데이터셋에서 MAP@3에 1.5% 향상되고, 컨텍스트 전용 데이터셋에선 3% 향상된다.
• 임베딩 특징 위에 텍스트 기반 특징을 추가해도 성능 향상이 미미하여, 임베딩 특징이 대부분의 관련 신호를 포괄하고 있음을 시사한다.
• 부분 의존도 플롯은 임베딩 공간 내 코사인 유사도와 랭킹 성능 사이에 강력하고 단조로운 관계가 있음을 확인한다.
• 모든 메트릭에서 통계적으로 유의미한 향상이 이루어졌으며, 95% 신뢰구간은 결과의 신뢰성을 확인한다.