[논문 리뷰] Shopping Queries Dataset: A Large-Scale ESCI Benchmark for Improving Product Search

Chandan K. Reddy, Lluı́s Màrquez외 7명|arXiv (Cornell University)|2022. 06. 14.

Advanced Image and Video Retrieval Techniques인용 수 15

한 줄 요약

이 논문은 영어, 스페인어, 일본어에서 130만 개의 쿼리와 260만 개의 수동으로 레이블링된 (쿼리, 제품) 관련성 평가를 포함하는 대규모 다국어 벤치마크인 쇼핑 쿼리 데이터셋을 소개한다. 신경망 모델을 사용하여 순위 매기기, 다중 클래스 관련성 분류(정확/대체/보완/무관), 대체 제품 식별이라는 세 가지 과제를 제안하며, 미세조정된 크로스엔코더와 BERT 기반의 MLP 분류기와 같은 모델을 활용하여 공개 테스트 세트에서 nDCG 점수는 최대 0.857, F1 점수는 0.73 이상을 기록하여 향후 제품 검색 연구를 위한 강력한 베이스라인을 수립한다.

ABSTRACT

Improving the quality of search results can significantly enhance users experience and engagement with search engines. In spite of several recent advancements in the fields of machine learning and data mining, correctly classifying items for a particular user search query has been a long-standing challenge, which still has a large room for improvement. This paper introduces the "Shopping Queries Dataset", a large dataset of difficult Amazon search queries and results, publicly released with the aim of fostering research in improving the quality of search results. The dataset contains around 130 thousand unique queries and 2.6 million manually labeled (query,product) relevance judgements. The dataset is multilingual with queries in English, Japanese, and Spanish. The Shopping Queries Dataset is being used in one of the KDDCup'22 challenges. In this paper, we describe the dataset and present three evaluation tasks along with baseline results: (i) ranking the results list, (ii) classifying product results into relevance categories, and (iii) identifying substitute products for a given query. We anticipate that this data will become the gold standard for future research in the topic of product search.

연구 동기 및 목표

• 사용자 검색 쿼리와 관련된 제품을 정확하게 매칭하는 데 있어 이분 관련성만으로는 사용자 의도의 미묘한 차이를 포괄하기에 부족한 지속적인 과제를 해결하기 위해.
• 모바일 및 음성 검색 환경에서 사용자 경험을 향상시키기 위해 모델이 단순한 관련성 초월하여 功能적 대체품, 보완품, 정확한 매칭을 이해할 수 있도록 하기 위해.
• 다국어에서의 의미적 매칭을 평가하고 향상시키기 위한 표준화된 대규모 벤치마크를 제공하기 위해.
• 검색, 분류, 추천 분야의 연구를 지원하기 위해 풍부한 레이블링과 다국어 커버리지가 포함된 공개 데이터셋을 제공하기 위해.

제안 방법

• 데이터셋은 영어, 스페인어, 일본어로 총 130,652개의 고유 쿼리로 구성되며, 각 쿼리는 최대 40개의 제품과 함께 제공되고 ESCI 관련성(정확/대체/보완/무관)으로 레이블링된다.
• 과제 1(순위 매기기)에서는 다국어 MPNet 기반의 미세조정된 크로스엔코더 모델과 BM25 베이스라인을 평가하며, nDCG를 평가 지표로 사용한다.
• 과제 2(분류)에서는 쿼리와 제품 제목 임베딩을 연결하여 학습한 BERT 기반의 MLP 분류기를 사용하며, BERT 표현에 대해 최대 풀링을 적용한다.
• 과제 3(대체 제품 식별)에서는 동일한 BERT-MLP 아키텍처를 사용하지만, 이중 헤드를 활용하여 대체 제품을 식별한다.
• 하이퍼파라미터로는 1~4 에포크, 학습률 5e-5, 가중치 감소 0.01, 언어당 10~200개의 개발 쿼리 설정을 사용한다.
• 데이터셋은 공개적으로 배포되었으며, KDDCup’22 챌린지에서 사용되었으며, 각 언어별로 학습, 공개 테스트, 비공개 테스트 세트로 분할되어 있다.

실험 결과

연구 질문

• RQ1 실제 쇼핑 쿼리에 대해 다국어에서 신경망 모델이 제품 결과를 얼마나 잘 순위 매길 수 있는가?
• RQ2 이분 관련성보다 다중 클래스 관련성 분류(정확/대체/보완/무관)가 사용자 의도를 더 잘 포착할 수 있는가?
• RQ3 모델이 주어진 쿼리에 대해 기능적 대체품을 얼마나 잘 식별할 수 있으며, 성능은 언어별로 어떻게 달라지는가?
• RQ4 강력한 베이스라인과 인간 레이블링된 관련성 평가 간의 성능 격차는 실제 전자상거래 검색 환경에서 얼마나 큰가?

주요 결과

• 미세조정된 크로스엔코더 모델은 영어 테스트 세트에서 nDCG 점수 0.852를 기록하여 BM25 베이스라인(0.563)을 크게 앞서며 신경망 기반 의미적 매칭의 강력한 성과를 보였다.
• BERT 기반의 MLP 분류기는 스페인어 테스트 세트에서 관련성 분류 과제에서 마이크로-F1 점수 0.685를 기록하여 중간 수준의 성능를 보였으며, 향상 여지가 뚜렷하게 남아 있음을 시사했다.
• 대체 제품 식별 과제에서 BERT-MLP 모델은 스페인어 테스트 세트에서 마이크로-F1 점수 0.795를 기록하여 이 과제에 강력한 잠재력을 보였다.
• 성능은 언어 간에 상당한 격차를 보였으며, 분류 과제에서 영어 모델이 스페인어 및 일본어 모델보다 뚜렷한 성능 우위를 보였다.
• ESCI 레이블 분포를 보면, 관련성 평가의 65.2%가 정확, 21.9%가 대체, 2.9%가 보완, 10.0%가 무관으로 나타나 실제 관련성의 복잡성을 반영하고 있다.
• 강력한 베이스라인 성능에도 불구하고, 모델과 인간 레이블링 평가 간의 큰 성능 격차는 제품 검색의 의미적 매칭 향상에 여전히 큰 여지가 있음을 시사한다.