[논문 리뷰] Semantic Product Search

Priyanka Nigam, Yiwei Song외 8명|arXiv (Cornell University)|2019. 07. 01.

Text and Document Classification Technologies참고 문헌 29인용 수 12

한 줄 요약

이 논문은 고객 행동 데이터를 활용하여 어휘 매칭을 초월한 의미적 제품 검색을 위한 딥러닝 모델을 제안한다. 새로운 3단계 허지 손실, n-그램 풀링, OOV 토큰을 위한 해싱, 8개 GPU에 걸친 모델 병렬 학습을 통해, 제품 검색 벤치마크에서 최신 기준 모델 대비 Recall@100은 4.7% 향상되고 MAP는 14.5% 향상되었다.

ABSTRACT

We study the problem of semantic matching in product search, that is, given a customer query, retrieve all semantically related products from the catalog. Pure lexical matching via an inverted index falls short in this respect due to several factors: a) lack of understanding of hypernyms, synonyms, and antonyms, b) fragility to morphological variants (e.g. "woman" vs. "women"), and c) sensitivity to spelling errors. To address these issues, we train a deep learning model for semantic matching using customer behavior data. Much of the recent work on large-scale semantic search using deep learning focuses on ranking for web search. In contrast, semantic matching for product search presents several novel challenges, which we elucidate in this paper. We address these challenges by a) developing a new loss function that has an inbuilt threshold to differentiate between random negative examples, impressed but not purchased examples, and positive examples (purchased items), b) using average pooling in conjunction with n-grams to capture short-range linguistic patterns, c) using hashing to handle out of vocabulary tokens, and d) using a model parallel training architecture to scale across 8 GPUs. We present compelling offline results that demonstrate at least 4.7% improvement in Recall@100 and 14.5% improvement in mean average precision (MAP) over baseline state-of-the-art semantic search methods using the same tokenization method. Moreover, we present results and discuss learnings from online A/B tests which demonstrate the efficacy of our method.

연구 동기 및 목표

• 어휘 매칭의 한계를 해결하기 위해, 동의어, 상위어, 형태변형, 철자 오류를 인식하지 못하는 문제를 해결한다.
• 특히 구매 및 클릭 행동 데이터를 활용하여 키워드 매칭을 초월한 사용자 의도를 반영하는 의미적 표현을 학습한다.
• 고차원 임베딩과 OOV 토큰을 처리할 수 있는 확장 가능한 딥러닝 아키텍처를 개발한다.
• 오프라인 메트릭(Recall@100, MAP)과 온라인 A/B 테스트 양면에서 성능 향상을 이루며, 고객 만족도 및 기업 KPI에 실질적 영향을 미친다.

제안 방법

• 무작위 음성 예측, 구매하지 않은 인상된 항목, 실제 양성(구매된) 항목을 구분하는 3단계 허지 손실 함수를 제안하여 더 나은 신호 구분 능력을 확보한다.
• n-그램에 대한 평균 풀링을 사용하여 근접한 언어 패턴을 포착하고, 단어 순서 및 형태변형에 대한 강건성을 향상시킨다.
• OOV 토큰을 임bedding하기 위해 해싱을 적용하여 어휘 크기를 줄이고 희귀 또는 미리보지 않은 단어에 대한 일반화 능력을 향상시킨다.
• 임베딩 차원에 따라 임베딩 행렬을 분할하고 코사인 유사도 계산을 분해하여, GPU당 통신 오버헤드를 3개 스칼라로 줄임으로써 8개 GPU에 걸친 모델 병렬 학습을 구현한다.
• 쿼리와 제품 임베딩에 공유 가중치를 가진 시아미즈 네트워크 아키텍처를 사용하여 코사인 유사도 기반으로 효율적인 유사도 계산을 가능하게 한다.
• 기울기 변수를 해당 연산과 같은 GPU에 위치시켜 메모리 분포와 계산 효율성을 향상시키기 위해 학습 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 특히 구매 및 클릭 행동 데이터를 효과적으로 활용하여, 어휘 기반 방법을 초월한 의미적 매칭을 향상시키는 딥러닝 모델을 학습시킬 수 있는가?
• RQ2 비구매 인상과 실제 구매를 구분하는 3단계 허지 손실 함수는 모델 일반화 능력과 검색 성능 향상에 어떻게 기여하는가?
• RQ3 평균 풀링을 사용한 n-그램 풀링은 제품 쿼리에서 형태변형과 동의어에 대해 얼마나 강건성을 향상시키는가?
• RQ4 다중 GPU 환경에서 대규모 임베딩 행렬에 대한 모델 병렬 학습의 상호 교환성과 스케일링 특성은 어떠한가?
• RQ5 제안된 모델은 실제 전자상거래 환경에서 오프라인 메트릭과 온라인 A/B 테스트 양면에서 측정 가능한 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 모델은 동일한 토크나이제이션 방법을 사용한 최신 기준 모델 대비 Recall@100에서 최소 4.7% 향상되고, 평균 평균 정확도(MAP)에서 14.5% 향상된다.
• 3단계 허지 손실은 비구매 인상과 실제 구매 간의 차이를 더 잘 모델링함으로써 표준 손실 함수보다 뚜렷한 성능 향상을 보였다.
• OOV 토큰의 해싱은 다양한 토크나이제이션 전략에서 정밀도를 향상시켜 희귀 또는 미리보지 않은 단어에 대한 강건성을 높였다.
• 코사인 유사도 계산의 통신 효율적인 분해를 통해 모델 병렬 학습이 가능해졌으며, GPU당 임베딩 차원에 따라 학습 시간이 선형적으로 증가하여 대규모 모델의 학습 시간을 단축시켰다.
• 온라인 A/B 테스트는 모델의 실세계 적용에서의 유효성을 확인했으며, 핵심 비즈니스 및 사용자 만족도 지표에서 측정 가능한 향상을 보였다.
• 자기 어텐션과 위치 인코딩을 탐색했지만 정밀도 향상이 관찰되지 않아 현재 아키텍처가 제품 검색의 고유한 특성에 잘 부합한다는 것을 시사한다.