[논문 리뷰] Did We Get It Right? Predicting Query Performance in E-commerce Search

Rohan Kumar, M. Jagadesh Kumar외 2명|arXiv (Cornell University)|2018. 08. 01.

Information Retrieval and Search Behavior참고 문헌 18인용 수 8

한 줄 요약

이 논문은 클릭률(CTR)을 넘어서는 풍부한 사용자 상호작용 신호를 사용하여 전자상거래 검색 쿼리 성능을 예측하는 기계학습 모델을 제안한다. 검증용 테스트 세트에서 평균 AUC 0.75를 달성하며, 특히 모바일 폰과 같은 고영향도 카테고리에서는 AUC가 0.90에 이를 정도로 성능 향상이 뚜렷하다.

ABSTRACT

In this paper, we address the problem of evaluating whether results served by an e-commerce search engine for a query are good or not. This is a critical question in evaluating any e-commerce search engine. While this question is traditionally answered using simple metrics like query click-through rate (CTR), we observe that in e-commerce search, such metrics can be misleading. Upon inspection, we find cases where CTR is high but the results are poor and vice versa. Similar cases exist for other metrics like time to click which are often also used for evaluating search engines. We aim to learn the quality of the results served by the search engine based on users' interactions with the results. Although this problem has been studied in the web search context, this is the first study for e-commerce search, to the best of our knowledge. Despite certain commonalities with evaluating web search engines, there are several major differences such as underlying reasons for search failure, and availability of rich user interaction data with products (e.g. adding a product to the cart). We study large-scale user interaction logs from Flipkart's search engine, analyze behavioral patterns and build models to classify queries based on user behavior signals. We demonstrate the feasibility and efficacy of such models in accurately predicting query performance. Our classifier is able to achieve an average AUC of 0.75 on a held-out test set.

연구 동기 및 목표

• 기존의 클릭률(CTR)과 같은 전통적 지표가 전자상거래 검색 성능 평가에 한계를 가진다는 문제를 해결하기 위해.
• CTR만으로는 부족한, 더 풍부한 사용자 상호작용 신호의 집합을 특정하여 쿼리 품질을 더 잘 반영할 수 있도록 하기 위해.
• 인간 전문가가 평가한 결과가 '만족스럽다'(SAT) 또는 '만족스럽지 않다'(DSAT)로 분류된 쿼리 성능을 예측하는 분류 모델을 구축하기 위해.
• 실제 전자상거래 환경에서 검색 엔진 성능을 자동으로 확장 가능하게 평가할 수 있도록 하기 위해.
• 특히 고수익 카테고리에서 문제 있는 쿼리를 조기에 식별함으로써 검색 품질 향상 반복을 개선하기 위해.

제안 방법

• 모델은 클릭, 클릭까지의 시간, 장바구니에 추가까지의 시간, 즉시 구매까지의 시간과 같은 사용자 상호작용의 암시적 피드백 신호를 사용한다.
• 검색 결과 수, 클릭 수, 제품 가시성 등의 쿼리 수준 특징을 활용하여 쿼리 성능을 분류한다.
• 인간이 레이팅한 결과를 기준으로 한 대규모 사용자 상호작용 로그를 기반으로 모델을 훈련한다.
• 이진 분류 작업을 정의하여, 쿼리 결과가 인간 전문가에 의해 '만족스럽다'(SAT) 또는 '만족스럽지 않다'(DSAT)로 평가되었는지 예측한다.
• 검증용 테스트 세트에서 AUC를 사용하여 모델을 평가하며, 카테고리, 쿼리 유형, 볼륨 세그먼트별로 추론 실험을 수행한다.
• 특징 중요도 분석을 통해 시간-장바구니 추가, 클릭 수 등의 신호가 쿼리 성능 예측에 강력한 예측 변수로 나타남.

실험 결과

연구 질문

• RQ1 클릭률(CTR)을 넘어서는 사용자 상호작용 신호가 전자상거래 검색에서 쿼리 성능 예측에 더 정확한가?
• RQ2 시간-장바구니 추가 또는 시간-즉시 구매와 같은 다양한 사용자 행동 유형이 인간 레이팅 쿼리 품질과 어떻게 상관관계가 있는가?
• RQ3 모델 성능은 제품 카테고리, 쿼리 유형, 쿼리 볼륨 세그먼트에 따라 유의미하게 달라지는가?
• RQ4 CTR가 높은 경우에도 모델이 열악한 성능을 보이는 쿼리를 신뢰성 있게 탐지할 수 있는가? 즉, CTR가 대체 지표로서의 한계를 극복할 수 있는가?
• RQ5 암시적 피드백 신호가 스케일링 가능한 수준에서 검색 엔진 성능 평가를 자동화하는 데 얼마나 기여할 수 있는가?

주요 결과

• 모델은 검증용 테스트 세트에서 평균 AUC 0.75를 달성하여 쿼리 성능 예측 능력이 뛰어남을 입증한다.
• 특히 '모바일 폰' 카테고리에서는 AUC가 0.90에 도달하여 고수익 세그먼트에서 매우 효과적인 적용 가능성을 보임.
• 모델은 '제품' 쿼리에서 가장 뛰어난 성능을 보이며, AUC 0.87을 기록함. 이는 '카테고리'(0.74) 및 '필터 카테고리'(0.72) 쿼리보다 높은 성능이다.
• 쿼리 볼륨이 높을수록 성능이 향상되며, '헤드'(Head) 쿼리의 AUC는 0.76, '바디 하이'(TorsoHigh)는 0.75, '바디 바닥'(TorsoBottom)은 0.72를 기록함.
• 시간-장바구니 추가 및 클릭 수가 특히 강력한 신호로 확인되었으며, CTR만으로는 열악한 결과를 탐지하는 데 떨어지지 않는 성능을 보임.
• 특히 '모바일' 카테고리 쿼리에서 성능이 뛰어나, '제품' 쿼리 비율이 높고 '필터 카테고리' 쿼리 비율이 낮기 때문으로 보인다.