[논문 리뷰] End-to-End Neural Ranking for eCommerce Product Search: an application of task models and textual embeddings

Eliot Brenner, Jun Zhao외 2명|arXiv (Cornell University)|2018. 06. 19.

Topic Modeling참고 문헌 12인용 수 6

한 줄 요약

이 논문은 작업 모델링과 텍스트 임bedding을 사용하여 이커머스 제품 검색를 위한 엔드 투 엔드 신경망 랭킹 프레임워크를 제안하며, 커널 풀링 모델이 tf-idf 기준선 대비 랭킹 오차를 1/3 이상 감소시킴을 입증한다. 반면, 분산 모델인 CLSM 및 DSSM는 기준선을 뛰어넘지 못하며, 이커머스용 신경망 정보 검색에서 정규화 및 데이터 증강 향상의 필요성을 강조한다.

ABSTRACT

We consider the problem of retrieving and ranking items in an eCommerce catalog, often called SKUs, in order of relevance to a user-issued query. The input data for the ranking are the texts of the queries and textual fields of the SKUs indexed in the catalog. We review the ways in which this problem both resembles and differs from the problems of IR in the context of web search. The differences between the product-search problem and the IR problem of web search necessitate a different approach in terms of both models and datasets. We first review the recent state-of-the-art models for web search IR, distinguishing between two distinct types of model which we call the distributed type and the local-interaction type. The different types of relevance models developed for IR have complementary advantages and disadvantages when applied to eCommerce product search. Further, we explain why the conventional methods for dataset construction employed in the IR literature fail to produce data which suffices for training or evaluation of models for eCommerce product search. We explain how our own approach, applying task modeling techniques to the click-through logs of an eCommerce site, enables the construction of a large-scale dataset for training and robust benchmarking of relevance models. Our experiments consist of applying several of the models from the IR literature to our own dataset. Empirically, we have established that, when applied to our dataset, certain models of local-interaction type reduce ranking errors by one-third compared to the baseline tf-idf. Applied to our dataset, the distributed models fail to outperform the baseline. As a basis for a deployed system, the distributed models have several advantages, computationally, over the local-interaction models. This motivates an ongoing program of work, which we outline at the conclusion of the paper.

연구 동기 및 목표

• 기존의 관련성 함수(예: tf-idf, BM25)가 하드 매칭에 의존하고 의미적 이해 능력이 부족한 이커머스 제품 검색에서의 한계를 해결하기 위해.
• 클릭스루 로그와 작업 모델링을 활용하여 신경망 랭킹 모델의 학습 및 벤치마킹을 위한 대규모 악성 관련성 데이터셋을 개발하기 위해.
• 최신 신경망 정보 검색 모델—특히 커널 풀링 및 분산 모델—을 이커머스 전용 데이터셋에서 평가하기 위해.
• 분산 모델이 웹 검색에서는 뛰어난 성능을 보임에도 불구하고 이커머스 데이터에서는 왜 과적합되고 일반화 성능이 떨어지는지 진단하기 위해.
• 일반화 실패 문제를 해결하기 위해 개선된 모델 아키텍처와 데이터 증강 전략을 중점으로 하는 双궤도 연구 프로그램을 제안하기 위해.

제안 방법

• 이커머스 플랫폼의 클릭스루 로그를 활용하여 악성 관련성 데이터셋을 대규모로 구축하고, 작업 모델링 기법을 적용하여 관련성 신호를 추론함.
• 커널 풀링(로컬 상호작용) 및 분산 모델(DSSM, CLSM, 시아메즈)을 포함한 다양한 신경망 정보 검색 모델을 훈련 및 평가하였으며, 학습 가능한 및 동 冻결된 단어 임베딩을 모두 사용함.
• 사전 학습된 word2vec에서 초기화된 CBOW 및 스킵그램 아키텍처를 활용한 FastText 단어 임베딩을 사용하고, 훈련 중에 미세조정함.
• SKU 텍스트 입력의 정보와 노이즈를 균형 있게 유지하기 위해 입력 길이를 제한하는 트렁케이션 전략을 적용함(32, 64, 128 토큰).
• tf-idf 기준선 대비 정규화된 쌍별 랭킹 오차율을 사용하여 모델 성능을 평가함.
• 미세조정 후 임베딩 공간의 변화를 분석하여 의미적 분리 정도를 평가하기 위해 정성적 분석을 수행함.

실험 결과

연구 질문

• RQ1 커널 풀링 신경망 랭킹 모델이 이커머스 제품 검색에서 전통적인 tf-idf 기준선을 현저히 뛰어넘을 수 있는가?
• RQ2 웹 검색에서는 뛰어난 성능을 보이는 분산 신경망 정보 검색 모델(DSSM, CLSM 등)이 이커머스 데이터셋에서는 왜 일반화 성능이 떨어지는가?
• RQ3 단어 임베딩 전략 선택(고정 vs. 미세조정)이 이커머스 랭킹 작업 성능에 어떤 영향을 미치는가?
• RQ4 정보 유지와 노이즈 감소를 균형 있게 유지할 때 커널 풀링 모델의 최적 입력 트렁케이션 길이는 얼마인가?
• RQ5 데이터 증강 및 아키텍처 혁신을 통해 분산 모델에서 관찰된 과적합 문제를 극복할 수 있는가?

주요 결과

• 커널 풀링 모델은 tf-idf 기준선 대비 쌍별 랭킹 오차를 33% 감소시켰으며, 64토큰 트렁케이션 길이에서 테스트 오차율 62.92%를 기록함.
• CLSM 및 DSSM와 같은 분산 모델은 tf-idf 기준선을 뛰어넘지 못했으며, 테스트 오차율 범위가 65.62%에서 73.97%에 이르러 심각한 과적합을 보였음.
• 정보 유지와 노이즈 감소를 균형 있게 유지하기 위해 최적의 트렁케이션 길이로 64토큰(2^6)가 확인되었음.
• 단어 임베딩을 고정한 경우 성능 저하가 약간에 그쳐(65.40% 오차율 대비 62.92%의 학습 가능한 경우), 미세조정이 유의미한 성능 향상을 이끌어내지만 그 영향은 제한적임.
• 미세조정은 단어 쌍을 더 자주 분리시키는 경향을 보였으며, 이는 임베딩이 작업에 특화된 의미적 특성에 적응하고 있음을 시사하지만, 전체 정확도에 미치는 영향은 제한적임.
• 본 연구는 분산 모델이 이커머스 환경에서 효과적으로 일반화되기 위해 개선된 정규화 및 데이터 증강 전략이 필수적임을 규명함.