[논문 리뷰] Predicting Preference Flips in Commerce Search

Or Sheffet, Nina Mishra외 1명|arXiv (Cornell University)|2012. 06. 27.

Information Retrieval and Search Behavior참고 문헌 21인용 수 5

한 줄 요약

이 논문은 상거래 검색에서 선호도 뒤집힘을 모델링하기 위해 항목들 위의 마르코프 체인으로 특징을 모델링함으로써 맥락에 따라 동적인 선호도 순서를 가능하게 하는 새로운 랭킹 프레임워크인 Random Shopper Model을 소개한다. 이 모델은 경험적 리스크 최소화를 통해 학습되며, 회귀 및 리스트와이즈 랭킹과 같은 전통적인 점수 기반 방법보다 상거래 검색 로그에서 뛰어난 성능을 보인다.

ABSTRACT

Traditional approaches to ranking in web search follow the paradigm of rank-by-score: a learned function gives each query-URL combination an absolute score and URLs are ranked according to this score. This paradigm ensures that if the score of one URL is better than another then one will always be ranked higher than the other. Scoring contradicts prior work in behavioral economics that showed that users' preferences between two items depend not only on the items but also on the presented alternatives. Thus, for the same query, users' preference between items A and B depends on the presence/absence of item C. We propose a new model of ranking, the Random Shopper Model, that allows and explains such behavior. In this model, each feature is viewed as a Markov chain over the items to be ranked, and the goal is to find a weighting of the features that best reflects their importance. We show that our model can be learned under the empirical risk minimization framework, and give an efficient learning algorithm. Experiments on commerce search logs demonstrate that our algorithm outperforms scoring-based approaches including regression and listwise ranking.

연구 동기 및 목표

• 맥락에 관계없이 고정된 선호도를 가정하는 전통적인 점수 기반 랭킹 모델의 한계를 해결하기 위해.
• 항목 C의 존재에 따라 항목 A와 B 간의 순위가 바뀌는 선호도 뒤집힘을 확률적 프레임워크를 사용해 모델링하기 위해.
• 행동경제학에서 관찰된 맥락 기반 선호도 역동성을 반영하는 학습 가능한 랭킹 모델을 개발하기 위해.
• 비이행성 및 맥락에 의존하는 사용자 선호도를 포착함으로써 상거래 검색 랭킹을 향상시키기 위해.
• 제안된 모델이 기존의 점수 기반 학습-랭킹 접근 방식보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• Random Shopper Model은 랭킹 대상이 되는 항목들 위의 마르코프 체인으로 각 특징을 간주하여, 한 항목에서 다른 항목으로 전이될 확률을 모델링한다.
• 모델은 사용자 선호도 순서에 영향을 주는 각 특징의 중요도를 가장 잘 반영하는 특징 가중치를 학습한다.
• 랭킹 문제를 경험적 리스크 최소화로 공식화하여 검색 로그에서 관찰된 선호도 뒤집힘과의 일관성을 최적화한다.
• 제안된 프레임워크 하에서 최적화 문제를 해결하기 위한 효율적인 학습 알고리즘을 개발한다.
• 모든 제시된 대안의 집합에 따라 상대적 순위가 달라지도록 허용함으로써 비이행적 선호도를 포착한다.
• 실제 상거래 검색 로그를 기반으로 특징 가중치를 학습하여 선호도 뒤집힘을 예측한다.

실험 결과

연구 질문

• RQ1 두 항목 간의 상대적 순위가 제3의 항목 존재 여부에 따라 변하는 상황에서 랭킹 모델이 선호도 뒤집힘을 포착할 수 있는가?
• RQ2 행동경제학에서 관찰된 맥락 기반 사용자 선호도를 반영할 수 있도록 기계 학습 모델을 어떻게 설계할 수 있는가?
• RQ3 특징 기반 마르코프 체인 모델이 상거래 검색에서 기존의 점수 기반 랭킹 모델보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 검색 결과에서 동적인 선호도 순서를 반영하는 데 최적의 특징 가중치를 학습하는 방법은 무엇인가?
• RQ5 실세계 상거래 데이터에서 제안된 모델은 회귀 및 리스트와이즈 랭킹 기준 모델과 비교해 랭킹 정확도에서 어떻게 성능을 내는가?

주요 결과

• Random Shopper Model은 사용자 선호도가 항목 C의 존재 여부에 따라 달라지는 상거래 검색에서 선호도 뒤집힘을 성공적으로 포착한다.
• 모델은 실제 상거래 검색 로그에서 기존의 점수 기반 접근 방식인 회귀 및 리스트와이즈 랭킹보다 뛰어난 성능을 보인다.
• 제안된 프레임워크 하에서 경험적 리스크 최소화를 통해 맥락적 중요도를 반영하는 특징 가중치의 효과적인 학습이 가능하다.
• 마르코프 체인 공식화를 통해 비이행적 선호도를 반영하는 동적이고 맥락 민감한 랭킹이 가능하다.
• 학습 알고리즘이 효율적이고 확장 가능하여 대규모 상거래 검색 응용 분야에 실용적으로 적용할 수 있다.
• 실험 결과, 특히 선호도 뒤집힘 발생 시나리오에서 기준 모델 대비 더 높은 랭킹 정확도를 달성하는 것으로 나타났다.