[논문 리뷰] A Multi-Objective Learning to re-Rank Approach to Optimize Online Marketplaces for Multiple Stakeholders

Phong Nguyen, John Dines외 1명|arXiv (Cornell University)|2017. 08. 02.

Advanced Bandit Algorithms Research참고 문헌 1인용 수 16

한 줄 요약

이 논문은 소비자, 공급자, 중개자라는 다수의 이해관계자를 고려하여 온라인 마켓플레이스의 성과를 향상시키기 위해 소비자 중심 추천을 재정렬하는 새로운 러닝-투-리랭킹 프레임워크를 제안한다. 커널화된 켄달 타우 메트릭을 정규화에 사용함으로써, 소비자 전환율과 마켓플레이스 수익을 모두 향상시키면서도 고객의 관련성은 유지하거나 향상시키는 데 성공했다. 이 방법은 비즈니스 규칙 기반 베이스라인 대비 마진 성과에서 50% 이상의 보상률을 기록했다.

ABSTRACT

Multi-objective recommender systems address the difficult task of recommending items that are relevant to multiple, possibly conflicting, criteria. However these systems are most often designed to address the objective of one single stakeholder, typically, in online commerce, the consumers whose input and purchasing decisions ultimately determine the success of the recommendation systems. In this work, we address the multi-objective, multi-stakeholder, recommendation problem involving one or more objective(s) per stakeholder. In addition to the consumer stakeholder, we also consider two other stakeholders; the suppliers who provide the goods and services for sale and the intermediary who is responsible for helping connect consumers to suppliers via its recommendation algorithms. We analyze the multi-objective, multi-stakeholder, problem from the point of view of the online marketplace intermediary whose objective is to maximize its commission through its recommender system. We define a multi-objective problem relating all our three stakeholders which we solve with a novel learning-to-re-rank approach that makes use of a novel regularization function based on the Kendall tau correlation metric and its kernel version; given an initial ranking of item recommendations built for the consumer, we aim to re-rank it such that the new ranking is also optimized for the secondary objectives while staying close to the initial ranking. We evaluate our approach on a real-world dataset of hotel recommendations provided by Expedia where we show the effectiveness of our approach against a business-rules oriented baseline model.

연구 동기 및 목표

• 온라인 마켓플레이스에서 소비자, 공급자, 중개자의 상충되는 목표를 균형 잡는 다수 이해관계자 추천 문제를 해결하기 위해.
• 소비자 최적화된 추천을 재정렬하여 중개자 수익 및 공급자 성과와 같은 보조 목표를 동시에 달성하는 러닝-투-리랭킹 프레임워크를 개발하기 위해.
• 기존의 관련성 유지와 보조 목표 최적화를 동시에 달성할 수 있도록 커널화된 켄달 타우 메트릭 기반의 새로운 정규화 함수를 도입하기 위해.
• 실제로 Expedia에서 확보한 호텔 추천 데이터를 바탕으로 본 방법의 성능을 평가하여, 고객 전환율과 마켓플레이스 수익 간의 트레이드오프를 향상시키기 위해.
• 현재 성능 저하를 초래하는 임시적인 비즈니스 규칙 대신 기계학습 기반의 대안을 제공하기 위해.

제안 방법

• 이 방법은 소비자 관련성(예: 클릭 및 예약)에 최적화된 초기 순위를 기반으로 러닝-투-리랭킹 문제로 문제를 정의한다.
• 기존의 소비자 최적화 순위와의 유사성을 유지하기 위해 커널화된 켄달 타우 메트릭 기반의 새로운 정규화 항을 도입한다.
• 다양한 이해관계자 목표(예: 고객 전환율 및 중개자 마진)의 선형 조합으로 최적화 문제를 설정하며, 가중치는 경사 하강법을 통해 학습한다.
• 기반 추천 모델로 행렬 분해를 사용하고, 마진 목표에 대한 데이터 유출을 방지하기 위해 호텔 가격을 특성에서 제외한다.
• 비교를 위해 선형 탐색 기반 베이스라인(LS) 모델을 사용하며, 이는 목표의 시그모이드 가중 평균을 사용하지만 커널화된 켄달 타우 정규화를 포함하지 않는다.
• 평가에는 NDCG@10과 각 목표에서 LRR 방법이 베이스라인을 능가하는 질의 비율을 측정하는 리스크 민감도 지표를 사용한다.

실험 결과

연구 질문

• RQ1 러닝-투-리랭킹 프레임워크는 온라인 마켓플레이스에서 소비자 관련성과 중개자 수익성을 효과적으로 균형 잡을 수 있는가?
• RQ2 히우리스틱 비즈니스 규칙 대비 커널화된 켄달 타우 기반 정규화는 관련성과 보조 목표 간의 트레이드오프를 어떻게 향상시키는가?
• RQ3 제안된 방법은 고객 전환율과 마켓플레이스 수익 측면에서 최신 기술 기반의 베이스라인 모델을 얼마나 뛰어넘는가?
• RQ4 다양한 검색 질의에서 소비자 관련성을 유지하면서도 중개자 마진을 상당히 향상시킬 수 있는가?
• RQ5 이 방법은 공급자 가용성 및 가격 경쟁력과 같은 추가 이해관계자 목표를 포함하는 데 일반화될 수 있는가?

주요 결과

• 제안된 러닝-투-리랭킹(LRR) 방법은 원래 소비자 최적화 순위 대비 중개자 마진 목표에서 NDCG@10이 16.7% 향상되었다.
• LRR 방법은 고객 선호도(클릭+예약)의 NDCG@10에서 단지 -5.9% 감소를 보였으며, 리스크-보상 균형 측면에서 베이스라인을 능가했다.
• 리스크 민감도 지표에서 LRR 방법은 마진 목표에서 50% 이상의 보상률을 기록하여, 절반 이상의 질의에서 베이스라인을 능가함을 시사했다.
• LRR 방법은 두 목표 모두에서 보다 체계적인 낮은 리스크(즉, 손실)를 보였으며, 이는 베이스라인 대비 일관된 개선을 보임을 의미한다.
• 고객 전환율과 마켓플레이스 수익 간의 유리한 트레이드오프를 달성하여, 사용자 경험을 희생시키지 않은 채 전체 플랫폼 수익성을 높일 수 있음을 시사한다.
• 결과는 커널화된 켄달 타우 정규화가 관련성을 효과적으로 유지하면서도 보조 목표 최적화를 가능하게 하며, 엄격한 A/B 테스트를 통과한 베이스라인을 능가함을 보여준다.